<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On 11 October 2016 at 22:32, Jackie Tung <span dir="ltr">&lt;<a href="mailto:jackie@drive.ai" target="_blank">jackie@drive.ai</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div>Joe,</div><div><br></div><div>Thanks for that, that was educational.  Gluster docs claim that since 3.7, DHT hash ranges are weighted based on brick sizes by default:</div><div><br></div><div><div><font face="Courier New">$ gluster volume get &lt;vol cluster.weighted-rebalance</font></div><div><font face="Courier New">Option                                  Value                                   </font></div><div><font face="Courier New">------                                  -----                                   </font></div><div><font face="Courier New">cluster.weighted-rebalance              on       </font></div></div><div><br></div><div><br></div><div>When running rebalance with force, I see this in the rebalance log:</div><div><br></div><div><div><font face="Courier New">...</font></div><div><font face="Courier New">[2016-10-11 16:38:37.655144] I [MSGID: 109045] [dht-selfheal.c:1751:dht_fix_l<wbr>ayout_of_directory] 0-cronut-dht: subvolume 10 (cronut-replicate-10): <b>5721127</b> chunks</font></div><div><font face="Courier New">[2016-10-11 16:38:37.655154] I [MSGID: 109045] [dht-selfheal.c:1751:dht_fix_l<wbr>ayout_of_directory] 0-cronut-dht: subvolume 11 (cronut-replicate-11): <b>7628846</b> chunks</font></div></div><div><font face="Courier New">…</font></div><div><br></div><div>subvolume &gt;=11 are 8TB, subvolume &lt;= 10 is are 6TB.</div><div><br></div><div>Do you think it is possible to even out usage on all bricks by % utilized now?  This would be the case if gluster rebalanced simply by what the scaled DHT says, including all required data migrations?</div><div><br></div></div></blockquote><div><br></div><div>Can you please send the following:</div><div><br></div><div>1. The rebalance logs (/var/log/gluster/&lt;volname&gt;-rebalance.log) from each node</div><div>2. The output of the following for the root of each brick:</div><div>  getfattr -e hex -m . -d &lt;path to brick&gt;</div><div>3. gluster volume info</div><div>4. The version of glusterfs that you are running.</div><div>5. gluster volume rebalance &lt;volname&gt; status</div><div><br></div><div>Are the file sizes more or less the same or are there large variations in them?</div><div><br></div><div><br></div><div>Thanks,</div><div>Nithya</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div></div><div>It would be preferable for us to avoid having to depend on cluster.min-free-disk to manage overflow later on - as this introduces one extra read of the link followed by the actual IOP.</div><div><br></div><div>Thanks,</div><div>Jackie</div><div><div class="m_2083569191837449471h5"><br><div><blockquote type="cite"><div>On Oct 10, 2016, at 11:13 AM, Joe Julian &lt;<a href="mailto:joe@julianfamily.org" target="_blank">joe@julianfamily.org</a>&gt; wrote:</div><br class="m_2083569191837449471m_5025420044663452727Apple-interchange-newline"><div>
  
    
  
  <div bgcolor="#FFFFFF" text="#000000"><p>I&#39;ve written an example of how gluster&#39;s dht works on my blog at
      <a class="m_2083569191837449471m_5025420044663452727moz-txt-link-freetext" href="https://joejulian.name/blog/dht-misses-are-expensive/" target="_blank">https://joejulian.name/blog/dh<wbr>t-misses-are-expensive/</a> which might
      make it clear why the end result is not what you expected.</p><p>By setting cluster.min-free-disk (defaults to 10%) you can, at
      least, ensure that your new bricks are utilized as needed to
      prevent over filling your smaller bricks.<br>
    </p>
    <div class="m_2083569191837449471m_5025420044663452727moz-cite-prefix">On 10/10/2016 10:13 AM, Jackie Tung
      wrote:<br>
    </div>
    <blockquote type="cite">
      
      Hi,
      <div><br>
      </div>
      <div>We have a 2 node, distributed replicated setup (11
        bricks on each node).  Each of these bricks are 6TB in size.</div>
      <div><br>
      </div>
      <div>node_A:/brick1 replicates node_B:/brick1</div>
      <div>node_A:/brick2 replicates node_B:/brick2</div>
      <div>node_A:/brick3 replicates node_B:/brick3</div>
      <div>…</div>
      <div>…</div>
      <div>node_A:/brick11 replicates node_B:/brick11</div>
      <div><br>
      </div>
      <div>We recently added 5 more bricks to make it 16 bricks
        on each node in total.  Each of these new bricks are 8TB in
        size.</div>
      <div><br>
      </div>
      <div>We completed a full rebalance operation (status says
        “completed”).</div>
      <div><br>
      </div>
      <div>However the end result is somewhat unexpected:</div>
      <div>
        <div><b><font face="Courier New">/dev/sdl1
              7.3T 2.2T 5.2T 29%</font></b></div>
        <div><b><font face="Courier New">/dev/sdk1
              7.3T 2.0T 5.3T 28%</font></b></div>
        <div><b><font face="Courier New">/dev/sdj1
              7.3T 2.0T 5.3T 28%</font></b></div>
        <div><b><font face="Courier New">/dev/sdn1
              7.3T 2.2T 5.2T 30%</font></b></div>
        <div><b><font face="Courier New">/dev/sdp1
              7.3T 2.2T 5.2T 30%</font></b></div>
        <div><font face="Courier New">/dev/sdc1 5.5T
            2.3T 3.2T 42%</font></div>
        <div><font face="Courier New">/dev/sdf1 5.5T
            2.3T 3.2T 43%</font></div>
        <div><font face="Courier New">/dev/sdo1 5.5T
            2.3T 3.2T 42%</font></div>
        <div><font face="Courier New">/dev/sda1 5.5T
            2.3T 3.2T 43%</font></div>
        <div><font face="Courier New">/dev/sdi1 5.5T
            2.3T 3.2T 42%</font></div>
        <div><font face="Courier New">/dev/sdh1 5.5T
            2.3T 3.2T 43%</font></div>
        <div><font face="Courier New">/dev/sde1 5.5T
            2.3T 3.2T 42%</font></div>
        <div><font face="Courier New">/dev/sdb1 5.5T
            2.3T 3.2T 42%</font></div>
        <div><font face="Courier New">/dev/sdm1 5.5T
            2.3T 3.2T 42%</font></div>
        <div><font face="Courier New">/dev/sdg1 5.5T
            2.3T 3.2T 42%</font></div>
        <div><font face="Courier New">/dev/sdd1 5.5T
            2.3T 3.2T 42%</font></div>
      </div>
      <div><br>
      </div>
      <div>The df output in <b>bold</b> are the new
        8TB drives.</div>
      <div>Was I wrong to expect the % usage to be roughly
        equal?  Is there some parameter I need to tweak to make
        rebalance account for disk sizes properly?</div>
      <div><br>
      </div>
      <div>I’m using Gluster 3.8 on Ubuntu.</div>
      <div><br>
      </div>
      <div>Thanks,</div>
      <div>Jackie</div>
      <br><p><font color="#808080" face="Courier New" size="1">The
          information in this email is confidential and may be legally
          privileged. It is intended solely for the addressee. Access to
          this email by anyone else is unauthorized. If you are not the
          intended recipient, any disclosure, copying, distribution or
          any action taken or omitted to be taken in reliance on it, is
          prohibited and may be unlawful.</font></p>
      <br>
      <fieldset class="m_2083569191837449471m_5025420044663452727mimeAttachmentHeader"></fieldset>
      <br>
      <pre>______________________________<wbr>_________________
Gluster-users mailing list
<a class="m_2083569191837449471m_5025420044663452727moz-txt-link-abbreviated" href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a>
<a class="m_2083569191837449471m_5025420044663452727moz-txt-link-freetext" href="http://www.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://www.gluster.org/mailman<wbr>/listinfo/gluster-users</a></pre>
    </blockquote>
    <br>
  </div>

______________________________<wbr>_________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br><a href="http://www.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://www.gluster.org/mailman<wbr>/listinfo/gluster-users</a></div></blockquote></div><br></div></div></div><div class="m_2083569191837449471HOEnZb"><div class="m_2083569191837449471h5">
<br>








<p><font color="#808080" face="Courier New" size="1">The information in this email is confidential and may be legally privileged. It is intended solely for the addressee. Access to this email by anyone else is unauthorized. If you are not the intended recipient, any disclosure, copying, distribution or any action taken or omitted to be taken in reliance on it, is prohibited and may be unlawful.</font></p></div></div><br>______________________________<wbr>_________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/mailman<wbr>/listinfo/gluster-users</a><br></blockquote></div><br></div></div>