<div dir="ltr">Thanks for looking into this as well Milind! Please see details below:<br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Sep 6, 2016 at 9:17 AM, Milind Changire <span dir="ltr">&lt;<a href="mailto:mchangir@redhat.com" target="_blank">mchangir@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Benjamin,<br>There are three issues of interest:<br>1. Since the hot tier reached 90% of its capacity, the nature and<br>   frequency of accesses of files are important<br>   Aggressive file accesses will cause a flood of promotions, although<br>   sequentially, hampering performance.<br>   Abstaining from access for a configured period will also cause a<br>   flood of sequential demotions to make space for hot files, hampering<br>   performance.</blockquote><div>The performance issues I&#39;m experiencing occur /immediately/ after enabling the hot tier, before any promotions have occured. Detaching the hot brick doesnot resolve the issue, even after all data has migrated to cold bricks. it is only after the tier remove is committed that performance returns to standard HDD results 150MB/s, ~100-200IOPS.</div><div><br></div><div> I have the impression that the tiering will allow files to be written to the SSD (created) or promoted frequently accessed/modified. The documentation I&#39;ve read indicates an upper threshold of 90% and a lower of 75% is the default which I&#39;ve confirmed in my current volume.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">2. Looks like part of the SSD is not used for the hot tier<br>   What type of IO was active on the non-hot tier part of the SSD while<br>   files were being accessed on the hot tier?<br></blockquote><div><br></div><div>the remaining 10% is a default setting of the glusterfs hot-tier if I understand correctly. The SSD is partially serving a facebook flashcache volume for VM storage, however the IO is light with only 2-3 VMs. I don&#39;t this issue is a factor due to the performance (1000&#39;s of IOPS, 500MB/s) of the brick itself with gluster out of the equation.</div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>3. What are the values of the promotion and demotion counters reported?</blockquote><div>The values have been left at the defaults </div><div> <a href="http://blog.gluster.org/2016/03/automated-tiering-in-gluster/">http://blog.gluster.org/2016/03/automated-tiering-in-gluster/</a> </div><div><br></div><div>Thanks!</div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span class="gmail-HOEnZb"><font color="#888888"><br><br>Milind</font></span><span class="gmail-"><br><br>On 09/04/2016 10:10 PM, Benjamin Kingston wrote:<br></span><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span class="gmail-">Thanks for the help, see below:<br><br>On Sat, Sep 3, 2016 at 11:41 AM, Mohammed Rafi K C &lt;<a href="mailto:rkavunga@redhat.com" target="_blank">rkavunga@redhat.com</a><br></span><div><div class="gmail-h5">&lt;mailto:<a href="mailto:rkavunga@redhat.com" target="_blank">rkavunga@redhat.com</a>&gt;&gt; wrote:<br><br>    Files created before attaching hot tier will be present on hot brick<br>    until it gets heated and migrated completely. During this time<br>    interval we won&#39;t get the benefit of hot storage since the files are<br>    served from cold brick.<br><br>The issue I&#39;m having is that when the hot tier is added read from the<br>volume drops from 150MB/s (no tier) to 2-10MB/s (tier added). I<br>experienced this issue for a while even after the hot brick reached 90%<br>capacity, so many files were promoted.<br>I detached the hotbrick and verified there weren&#39;t any files left over,<br>and the performance was still effected.<br>It was only until I committed the detach that throughput returned to<br>150MB/s.<br><br>Reattaching the hot tier immediately caused the issue to return until<br>the tier was again detach-committed<br><br><br><br>    For smallfiles (order of kbs), We are experiencing some performance<br>    issue mostly with  EC (disperse ) volume.<br><br>    Follow up questions,<br>    What is the volume type ? and version of glusterfs ?<br><br>The volume is a 2x replica on btrfs bricks that are luks encrypted.<br>2048K GPT offset for 1st partition . Gluster 3.8.3, built aug 22 running<br>on Centos.<br><br><br>    Does reread gives an equal performance when it hits the server ?<br>    reading any files with hot tier results in 2-10MB/s (node mounted<br>    volume via localhost6:/volume), reading them again any number of<br>    times does not improve performance<br><br><br><br>    Have you done any rename for those files ?<br><br>Some files have been renamed, however the 10GB test file has not it is<br>the original name/copy<br><br><br><br><br></div></div><span class="gmail-">______________________________<wbr>_________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br><a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/mailman<wbr>/listinfo/gluster-users</a><br><br></span></blockquote></blockquote></div></div></div>