<div dir="ltr">Hi Kotresh,<div><br></div><div>its same behaviour in replicated volume also, file fd opens after 120 seconds in brick pid.</div><div><br></div><div>for calculating signature for 100MB file it took 15m57s.</div><div><br></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">How can i increase CPU usage?, in your earlier mail you have said &quot;To limit the usage of CPU, throttling is done using token bucket </span><span style="font-size:12.8px">algorithm&quot;.</span></div><div><span style="font-size:12.8px">any possibility of increasing bitrot hash calculation speed ?.</span></div><div><span style="font-size:12.8px"><br></span></div><div><br></div><div><span style="font-size:12.8px">Thanks,</span></div><div><span style="font-size:12.8px">Amudhan </span></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Sep 22, 2016 at 11:44 AM, Kotresh Hiremath Ravishankar <span dir="ltr">&lt;<a href="mailto:khiremat@redhat.com" target="_blank">khiremat@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Amudhan,<br>
<br>
Thanks for the confirmation. If that&#39;s the case please try with dist-rep volume,<br>
and see if you are observing similar behavior.<br>
<br>
In any case please raise a bug for the same with your observations. We will work<br>
on it.<br>
<span class="im HOEnZb"><br>
Thanks and Regards,<br>
Kotresh H R<br>
<br>
----- Original Message -----<br>
&gt; From: &quot;Amudhan P&quot; &lt;<a href="mailto:amudhan83@gmail.com">amudhan83@gmail.com</a>&gt;<br>
&gt; To: &quot;Kotresh Hiremath Ravishankar&quot; &lt;<a href="mailto:khiremat@redhat.com">khiremat@redhat.com</a>&gt;<br>
&gt; Cc: &quot;Gluster Users&quot; &lt;<a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>&gt;<br>
</span><div class="HOEnZb"><div class="h5">&gt; Sent: Thursday, September 22, 2016 11:25:28 AM<br>
&gt; Subject: Re: 3.8.3 Bitrot signature process<br>
&gt;<br>
&gt; Hi Kotresh,<br>
&gt;<br>
&gt; 2280 is a brick process, i have not tried with dist-rep volume?<br>
&gt;<br>
&gt; I have not seen any fd in bitd process in any of the node&#39;s and bitd<br>
&gt; process usage always 0% CPU and randomly it goes 0.3% CPU.<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; Thanks,<br>
&gt; Amudhan<br>
&gt;<br>
&gt; On Thursday, September 22, 2016, Kotresh Hiremath Ravishankar &lt;<br>
&gt; <a href="mailto:khiremat@redhat.com">khiremat@redhat.com</a>&gt; wrote:<br>
&gt; &gt; Hi Amudhan,<br>
&gt; &gt;<br>
&gt; &gt; No, bitrot signer is a different process by itself and is not part of<br>
&gt; brick process.<br>
&gt; &gt; I believe the process 2280 is a brick process ? Did you check with<br>
&gt; dist-rep volume?<br>
&gt; &gt; Is the same behavior being observed there as well? We need to figure out<br>
&gt; why brick<br>
&gt; &gt; process is holding that fd for such a long time.<br>
&gt; &gt;<br>
&gt; &gt; Thanks and Regards,<br>
&gt; &gt; Kotresh H R<br>
&gt; &gt;<br>
&gt; &gt; ----- Original Message -----<br>
&gt; &gt;&gt; From: &quot;Amudhan P&quot; &lt;<a href="mailto:amudhan83@gmail.com">amudhan83@gmail.com</a>&gt;<br>
&gt; &gt;&gt; To: &quot;Kotresh Hiremath Ravishankar&quot; &lt;<a href="mailto:khiremat@redhat.com">khiremat@redhat.com</a>&gt;<br>
&gt; &gt;&gt; Sent: Wednesday, September 21, 2016 8:15:33 PM<br>
&gt; &gt;&gt; Subject: Re: [Gluster-users] 3.8.3 Bitrot signature process<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Hi Kotresh,<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; As soon as fd closes from brick1 pid, i can see bitrot signature for the<br>
&gt; &gt;&gt; file in brick.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; So, it looks like fd opened by brick process to calculate signature.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; output of the file:<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; -rw-r--r-- 2 root root 250M Sep 21 18:32<br>
&gt; &gt;&gt; /media/disk1/brick1/data/G/<wbr>test59-bs10M-c100.nul<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; getfattr: Removing leading &#39;/&#39; from absolute path names<br>
&gt; &gt;&gt; # file: media/disk1/brick1/data/G/<wbr>test59-bs10M-c100.nul<br>
&gt; &gt;&gt; trusted.bit-rot.signature=<wbr>0x010200000000000000e9474e4cc6<br>
&gt; 73c0c227a6e807e04aa4ab1f88d374<wbr>4243950a290869c53daa65df<br>
&gt; &gt;&gt; trusted.bit-rot.version=<wbr>0x020000000000000057d6af320001<wbr>2a13<br>
&gt; &gt;&gt; trusted.ec.config=<wbr>0x0000080501000200<br>
&gt; &gt;&gt; trusted.ec.size=<wbr>0x000000003e800000<br>
&gt; &gt;&gt; trusted.ec.version=<wbr>0x0000000000001f40000000000000<wbr>1f40<br>
&gt; &gt;&gt; trusted.gfid=<wbr>0x4c091145429448468fffe358482c<wbr>63e1<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; stat /media/disk1/brick1/data/G/<wbr>test59-bs10M-c100.nul<br>
&gt; &gt;&gt;   File: ‘/media/disk1/brick1/data/G/<wbr>test59-bs10M-c100.nul’<br>
&gt; &gt;&gt;   Size: 262144000       Blocks: 512000     IO Block: 4096   regular file<br>
&gt; &gt;&gt; Device: 811h/2065d      Inode: 402653311   Links: 2<br>
&gt; &gt;&gt; Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)<br>
&gt; &gt;&gt; Access: 2016-09-21 18:34:43.722712751 +0530<br>
&gt; &gt;&gt; Modify: 2016-09-21 18:32:41.650712946 +0530<br>
&gt; &gt;&gt; Change: 2016-09-21 19:14:41.698708914 +0530<br>
&gt; &gt;&gt;  Birth: -<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; In other 2 bricks in same set, still signature is not updated for the<br>
&gt; same<br>
&gt; &gt;&gt; file.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; On Wed, Sep 21, 2016 at 6:48 PM, Amudhan P &lt;<a href="mailto:amudhan83@gmail.com">amudhan83@gmail.com</a>&gt; wrote:<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; Hi Kotresh,<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; I am very sure, No read was going on from mount point.<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Again i did same test but after writing data to mount point. I have<br>
&gt; &gt;&gt; &gt; unmounted mount point.<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; after 120 seconds i am seeing this file fd entry in brick 1 pid<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; getfattr -m. -e hex -d test59-bs10<br>
&gt; &gt;&gt; &gt; # file: test59-bs10M-c100.nul<br>
&gt; &gt;&gt; &gt; trusted.bit-rot.version=<wbr>0x020000000000000057bed574000e<wbr>d534<br>
&gt; &gt;&gt; &gt; trusted.ec.config=<wbr>0x0000080501000200<br>
&gt; &gt;&gt; &gt; trusted.ec.size=<wbr>0x000000003e800000<br>
&gt; &gt;&gt; &gt; trusted.ec.version=<wbr>0x0000000000001f40000000000000<wbr>1f40<br>
&gt; &gt;&gt; &gt; trusted.gfid=<wbr>0x4c091145429448468fffe358482c<wbr>63e1<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; ls -l /proc/2280/fd<br>
&gt; &gt;&gt; &gt; lr-x------ 1 root root 64 Sep 21 13:08 19 -&gt; /media/disk1/brick1/.<br>
&gt; &gt;&gt; &gt; glusterfs/4c/09/4c091145-4294-<wbr>4846-8fff-e358482c63e1<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Volume is a EC - 4+1<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; On Wed, Sep 21, 2016 at 6:17 PM, Kotresh Hiremath Ravishankar &lt;<br>
&gt; &gt;&gt; &gt; <a href="mailto:khiremat@redhat.com">khiremat@redhat.com</a>&gt; wrote:<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; Hi Amudhan,<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; If you see the ls output, some process has a fd opened in the backend.<br>
&gt; &gt;&gt; &gt;&gt; That is the reason bitrot is not considering for the signing.<br>
&gt; &gt;&gt; &gt;&gt; Could you please observe, after 120 secs of closure of<br>
&gt; &gt;&gt; &gt;&gt; &quot;/media/disk2/brick2/.<wbr>glusterfs/6e/7c/6e7c49e6-094e-<wbr>4435-<br>
&gt; &gt;&gt; &gt;&gt; 85bf-f21f99fd8764&quot;<br>
&gt; &gt;&gt; &gt;&gt; the signing happens. If so we need to figure out who holds this fd for<br>
&gt; &gt;&gt; &gt;&gt; such a long time.<br>
&gt; &gt;&gt; &gt;&gt; And also we need to figure is this issue specific to EC volume.<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; Thanks and Regards,<br>
&gt; &gt;&gt; &gt;&gt; Kotresh H R<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt;&gt; &gt; From: &quot;Amudhan P&quot; &lt;<a href="mailto:amudhan83@gmail.com">amudhan83@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; To: &quot;Kotresh Hiremath Ravishankar&quot; &lt;<a href="mailto:khiremat@redhat.com">khiremat@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; Cc: &quot;Gluster Users&quot; &lt;<a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; Sent: Wednesday, September 21, 2016 4:56:40 PM<br>
&gt; &gt;&gt; &gt;&gt; &gt; Subject: Re: [Gluster-users] 3.8.3 Bitrot signature process<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; Hi Kotresh,<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; Writing new file.<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; getfattr -m. -e hex -d /media/disk2/brick2/data/G/<br>
&gt; test58-bs10M-c100.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; getfattr: Removing leading &#39;/&#39; from absolute path names<br>
&gt; &gt;&gt; &gt;&gt; &gt; # file: media/disk2/brick2/data/G/<wbr>test58-bs10M-c100.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; trusted.bit-rot.version=<wbr>0x020000000000000057da8b23000b<wbr>120e<br>
&gt; &gt;&gt; &gt;&gt; &gt; trusted.ec.config=<wbr>0x0000080501000200<br>
&gt; &gt;&gt; &gt;&gt; &gt; trusted.ec.size=<wbr>0x000000003e800000<br>
&gt; &gt;&gt; &gt;&gt; &gt; trusted.ec.version=<wbr>0x0000000000001f40000000000000<wbr>1f40<br>
&gt; &gt;&gt; &gt;&gt; &gt; trusted.gfid=<wbr>0x6e7c49e6094e443585bff21f99fd<wbr>8764<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; Running ls -l in brick 2 pid<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; ls -l /proc/30162/fd<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; lr-x------ 1 root root 64 Sep 21 16:22 59 -&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; /media/disk2/brick2/.<wbr>glusterfs/quanrantine<br>
&gt; &gt;&gt; &gt;&gt; &gt; lrwx------ 1 root root 64 Sep 21 16:22 6 -&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; /var/lib/glusterd/vols/<wbr>glsvol1/run/10.1.2.2-media-<wbr>disk2-brick2.pid<br>
&gt; &gt;&gt; &gt;&gt; &gt; lr-x------ 1 root root 64 Sep 21 16:25 60 -&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; /media/disk2/brick2/.<wbr>glusterfs/6e/7c/6e7c49e6-094e-<wbr>4435-<br>
&gt; &gt;&gt; &gt;&gt; 85bf-f21f99fd8764<br>
&gt; &gt;&gt; &gt;&gt; &gt; lr-x------ 1 root root 64 Sep 21 16:22 61 -&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; /media/disk2/brick2/.<wbr>glusterfs/quanrantine<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; find /media/disk2/ -samefile<br>
&gt; &gt;&gt; &gt;&gt; &gt; /media/disk2/brick2/.<wbr>glusterfs/6e/7c/6e7c49e6-094e-<wbr>4435-<br>
&gt; &gt;&gt; &gt;&gt; 85bf-f21f99fd8764<br>
&gt; &gt;&gt; &gt;&gt; &gt; /media/disk2/brick2/.<wbr>glusterfs/6e/7c/6e7c49e6-094e-<wbr>4435-<br>
&gt; &gt;&gt; &gt;&gt; 85bf-f21f99fd8764<br>
&gt; &gt;&gt; &gt;&gt; &gt; /media/disk2/brick2/data/G/<wbr>test58-bs10M-c100.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; On Wed, Sep 21, 2016 at 3:28 PM, Kotresh Hiremath Ravishankar &lt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; <a href="mailto:khiremat@redhat.com">khiremat@redhat.com</a>&gt; wrote:<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; Hi Amudhan,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; Don&#39;t grep for the filename, glusterfs maintains hardlink in<br>
&gt; &gt;&gt; &gt;&gt; .glusterfs<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; directory<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; for each file. Just check &#39;ls -l /proc/&lt;respective brick pid&gt;/fd&#39;<br>
&gt; for<br>
&gt; &gt;&gt; &gt;&gt; any<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; fds opened<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; for a file in .glusterfs and check if it&#39;s the same file.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; Thanks and Regards,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; Kotresh H R<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; From: &quot;Amudhan P&quot; &lt;<a href="mailto:amudhan83@gmail.com">amudhan83@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; To: &quot;Kotresh Hiremath Ravishankar&quot; &lt;<a href="mailto:khiremat@redhat.com">khiremat@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Cc: &quot;Gluster Users&quot; &lt;<a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Sent: Wednesday, September 21, 2016 1:33:10 PM<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Subject: Re: [Gluster-users] 3.8.3 Bitrot signature process<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Hi Kotresh,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; i have used below command to verify any open fd for file.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &quot;ls -l /proc/*/fd | grep filename&quot;.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; as soon as write completes there no open fd&#39;s, if there is any<br>
&gt; &gt;&gt; &gt;&gt; alternate<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; option. please let me know will also try that.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Also, below is my scrub status in my test setup. number of<br>
&gt; skipped<br>
&gt; &gt;&gt; &gt;&gt; files<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; slow reducing day by day. I think files are skipped due to<br>
&gt; bitrot<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; signature<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; process is not completed yet.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; where can i see scrub skipped files?<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Volume name : glsvol1<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; State of scrub: Active (Idle)<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Scrub impact: normal<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Scrub frequency: daily<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Bitrot error log location: /var/log/glusterfs/bitd.log<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Scrubber error log location: /var/log/glusterfs/scrub.log<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; ==============================<wbr>===========================<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Node: localhost<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Number of Scrubbed files: 1644<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Number of Skipped files: 1001<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Last completed scrub time: 2016-09-20 11:59:58<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Duration of last scrub (D:M:H:M:S): 0:0:39:26<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Error count: 0<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; ==============================<wbr>===========================<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Node: 10.1.2.3<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Number of Scrubbed files: 1644<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Number of Skipped files: 1001<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Last completed scrub time: 2016-09-20 10:50:00<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Duration of last scrub (D:M:H:M:S): 0:0:38:17<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Error count: 0<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; ==============================<wbr>===========================<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Node: 10.1.2.4<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Number of Scrubbed files: 981<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Number of Skipped files: 1664<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Last completed scrub time: 2016-09-20 12:38:01<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Duration of last scrub (D:M:H:M:S): 0:0:35:19<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Error count: 0<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; ==============================<wbr>===========================<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Node: 10.1.2.1<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Number of Scrubbed files: 1263<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Number of Skipped files: 1382<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Last completed scrub time: 2016-09-20 11:57:21<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Duration of last scrub (D:M:H:M:S): 0:0:37:17<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Error count: 0<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; ==============================<wbr>===========================<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Node: 10.1.2.2<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Number of Scrubbed files: 1644<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Number of Skipped files: 1001<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Last completed scrub time: 2016-09-20 11:59:25<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Duration of last scrub (D:M:H:M:S): 0:0:39:18<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Error count: 0<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; ==============================<wbr>===========================<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Thanks<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Amudhan<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; On Wed, Sep 21, 2016 at 11:45 AM, Kotresh Hiremath Ravishankar &lt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; <a href="mailto:khiremat@redhat.com">khiremat@redhat.com</a>&gt; wrote:<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; Hi Amudhan,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; I don&#39;t think it&#39;s the limitation with read data from the<br>
&gt; brick.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; To limit the usage of CPU, throttling is done using token<br>
&gt; bucket<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; algorithm. The log message showed is related to it. But even<br>
&gt; then<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; I think it should not take 12 minutes for check-sum<br>
&gt; calculation<br>
&gt; &gt;&gt; &gt;&gt; unless<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; there is an fd open (might be internal). Could you please<br>
&gt; cross<br>
&gt; &gt;&gt; &gt;&gt; verify<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; if there are any fd opened on that file by looking into<br>
&gt; /proc? I<br>
&gt; &gt;&gt; &gt;&gt; will<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; also test it out in the mean time and get back to you.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; Thanks and Regards,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; Kotresh H R<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; From: &quot;Amudhan P&quot; &lt;<a href="mailto:amudhan83@gmail.com">amudhan83@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; To: &quot;Kotresh Hiremath Ravishankar&quot; &lt;<a href="mailto:khiremat@redhat.com">khiremat@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Cc: &quot;Gluster Users&quot; &lt;<a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Sent: Tuesday, September 20, 2016 3:19:28 PM<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Subject: Re: [Gluster-users] 3.8.3 Bitrot signature process<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Hi Kotresh,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Please correct me if i am wrong, Once a file write completes<br>
&gt; &gt;&gt; &gt;&gt; and as<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; soon<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; as<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; closes fds, bitrot waits for 120 seconds and starts hashing<br>
&gt; and<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; update<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; signature for the file in brick.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; But, what i am feeling that bitrot takes too much of time to<br>
&gt; &gt;&gt; &gt;&gt; complete<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; hashing.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; below is test result i would like to share.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; writing data in below path using dd :<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; /mnt/gluster/data/G (mount point)<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; -rw-r--r-- 1 root root  10M Sep 20 12:19 test53-bs10M-c1.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; -rw-r--r-- 1 root root 100M Sep 20 12:19<br>
&gt; test54-bs10M-c10.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; No any other write or read process is going on.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Checking file data in one of the brick.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; -rw-r--r-- 2 root root 2.5M Sep 20 12:23 test53-bs10M-c1.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; -rw-r--r-- 2 root root  25M Sep 20 12:23<br>
&gt; test54-bs10M-c10.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; file&#39;s stat and getfattr info from brick, after write<br>
&gt; process<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; completed.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; gfstst-node5:/media/disk2/<wbr>brick2/data/G$ stat<br>
&gt; &gt;&gt; &gt;&gt; test53-bs10M-c1.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;   File: ‘test53-bs10M-c1.nul’<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;   Size: 2621440         Blocks: 5120       IO Block: 4096<br>
&gt; &gt;&gt; &gt;&gt;  regular<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; file<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Device: 821h/2081d      Inode: 536874168   Links: 2<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (<br>
&gt;   0/<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; root)<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Access: 2016-09-20 12:23:28.798886647 +0530<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Modify: 2016-09-20 12:23:28.994886646 +0530<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Change: 2016-09-20 12:23:28.998886646 +0530<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;  Birth: -<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; gfstst-node5:/media/disk2/<wbr>brick2/data/G$ stat<br>
&gt; &gt;&gt; &gt;&gt; test54-bs10M-c10.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;   File: ‘test54-bs10M-c10.nul’<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;   Size: 26214400        Blocks: 51200      IO Block: 4096<br>
&gt; &gt;&gt; &gt;&gt;  regular<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; file<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Device: 821h/2081d      Inode: 536874169   Links: 2<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (<br>
&gt;   0/<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; root)<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Access: 2016-09-20 12:23:42.902886624 +0530<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Modify: 2016-09-20 12:23:44.378886622 +0530<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Change: 2016-09-20 12:23:44.378886622 +0530<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;  Birth: -<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; gfstst-node5:/media/disk2/<wbr>brick2/data/G$ sudo getfattr -m.<br>
&gt; -e<br>
&gt; &gt;&gt; &gt;&gt; hex -d<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; test53-bs10M-c1.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; # file: test53-bs10M-c1.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.bit-rot.version=<wbr>0x020000000000000057daa7b50002<wbr>e5b4<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.ec.config=<wbr>0x0000080501000200<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.ec.size=<wbr>0x0000000000a00000<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.ec.version=<wbr>0x0000000000000050000000000000<wbr>0050<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.gfid=<wbr>0xe2416bd1aae4403c88f44286273b<wbr>be99<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; gfstst-node5:/media/disk2/<wbr>brick2/data/G$ sudo getfattr -m.<br>
&gt; -e<br>
&gt; &gt;&gt; &gt;&gt; hex -d<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; test54-bs10M-c10.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; # file: test54-bs10M-c10.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.bit-rot.version=<wbr>0x020000000000000057daa7b50002<wbr>e5b4<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.ec.config=<wbr>0x0000080501000200<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.ec.size=<wbr>0x0000000006400000<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.ec.version=<wbr>0x0000000000000320000000000000<wbr>0320<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.gfid=<wbr>0x54e018dd8c5a4bd79e0317729d8a<wbr>57c5<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; file&#39;s stat and getfattr info from brick, after bitrot<br>
&gt; signature<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; updated.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; gfstst-node5:/media/disk2/<wbr>brick2/data/G$ stat<br>
&gt; &gt;&gt; &gt;&gt; test53-bs10M-c1.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;   File: ‘test53-bs10M-c1.nul’<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;   Size: 2621440         Blocks: 5120       IO Block: 4096<br>
&gt; &gt;&gt; &gt;&gt;  regular<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; file<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Device: 821h/2081d      Inode: 536874168   Links: 2<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (<br>
&gt;   0/<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; root)<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Access: 2016-09-20 12:25:31.494886450 +0530<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Modify: 2016-09-20 12:23:28.994886646 +0530<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Change: 2016-09-20 12:27:00.994886307 +0530<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;  Birth: -<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; gfstst-node5:/media/disk2/<wbr>brick2/data/G$ sudo getfattr -m.<br>
&gt; -e<br>
&gt; &gt;&gt; &gt;&gt; hex -d<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; test53-bs10M-c1.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; # file: test53-bs10M-c1.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.bit-rot.signature=<wbr>0x0102000000000000006de7493c5c<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; 90f643357c268fbaaf461c1567e033<wbr>4e4948023ce17268403aa37a<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.bit-rot.version=<wbr>0x020000000000000057daa7b50002<wbr>e5b4<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.ec.config=<wbr>0x0000080501000200<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.ec.size=<wbr>0x0000000000a00000<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.ec.version=<wbr>0x0000000000000050000000000000<wbr>0050<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.gfid=<wbr>0xe2416bd1aae4403c88f44286273b<wbr>be99<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; gfstst-node5:/media/disk2/<wbr>brick2/data/G$ stat<br>
&gt; &gt;&gt; &gt;&gt; test54-bs10M-c10.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;   File: ‘test54-bs10M-c10.nul’<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;   Size: 26214400        Blocks: 51200      IO Block: 4096<br>
&gt; &gt;&gt; &gt;&gt;  regular<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; file<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Device: 821h/2081d      Inode: 536874169   Links: 2<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (<br>
&gt;   0/<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; root)<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Access: 2016-09-20 12:25:47.510886425 +0530<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Modify: 2016-09-20 12:23:44.378886622 +0530<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Change: 2016-09-20 12:38:05.954885243 +0530<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;  Birth: -<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; gfstst-node5:/media/disk2/<wbr>brick2/data/G$ sudo getfattr -m.<br>
&gt; -e<br>
&gt; &gt;&gt; &gt;&gt; hex -d<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; test54-bs10M-c10.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; # file: test54-bs10M-c10.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.bit-rot.signature=<wbr>0x010200000000000000394c345f0b<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; 0c63ee652627a62eed069244d35c4d<wbr>5134e4f07d4eabb51afda47e<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.bit-rot.version=<wbr>0x020000000000000057daa7b50002<wbr>e5b4<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.ec.config=<wbr>0x0000080501000200<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.ec.size=<wbr>0x0000000006400000<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.ec.version=<wbr>0x0000000000000320000000000000<wbr>0320<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.gfid=<wbr>0x54e018dd8c5a4bd79e0317729d8a<wbr>57c5<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; (Actual time taken for reading file from brick for md5sum)<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; gfstst-node5:/media/disk2/<wbr>brick2/data/G$ time md5sum<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; test53-bs10M-c1.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; 8354dcaa18a1ecb52d0895bf00888c<wbr>44  test53-bs10M-c1.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; real    0m0.045s<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; user    0m0.007s<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; sys     0m0.003s<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; gfstst-node5:/media/disk2/<wbr>brick2/data/G$ time md5sum<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; test54-bs10M-c10.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; bed3c0a4a1407f584989b4009e9ce3<wbr>3f  test54-bs10M-c10.nul<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; real    0m0.166s<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; user    0m0.062s<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; sys     0m0.011s<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; As you can see that &#39;test54-bs10M-c10.nul&#39; file took around<br>
&gt; 12<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; minutes to<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; update bitort signature (pls refer stat output for the<br>
&gt; file).<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; what would be the cause for such a slow read?. Any<br>
&gt; limitation<br>
&gt; &gt;&gt; &gt;&gt; in read<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; data<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; from brick?<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Also, i am seeing this line bitd.log, what does this mean?<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; [bit-rot.c:1784:br_rate_limit_<wbr>signer] 0-glsvol1-bit-rot-0:<br>
&gt; &gt;&gt; &gt;&gt; [Rate<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; Limit<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Info] &quot;tokens/sec (rate): 131072, maxlimit: 524288<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Thanks<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; Amudhan P<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; On Mon, Sep 19, 2016 at 1:00 PM, Kotresh Hiremath<br>
&gt; Ravishankar &lt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; <a href="mailto:khiremat@redhat.com">khiremat@redhat.com</a>&gt; wrote:<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; Hi Amudhan,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; Thanks for testing out the bitrot feature and sorry for<br>
&gt; the<br>
&gt; &gt;&gt; &gt;&gt; delayed<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; response.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; Please find the answers inline.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; Thanks and Regards,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; Kotresh H R<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; From: &quot;Amudhan P&quot; &lt;<a href="mailto:amudhan83@gmail.com">amudhan83@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; To: &quot;Gluster Users&quot; &lt;<a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Sent: Friday, September 16, 2016 4:14:10 PM<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Subject: Re: [Gluster-users] 3.8.3 Bitrot signature<br>
&gt; process<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Hi,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Can anyone reply to this mail.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; On Tue, Sep 13, 2016 at 12:49 PM, Amudhan P &lt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; <a href="mailto:amudhan83@gmail.com">amudhan83@gmail.com</a> &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; wrote:<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Hi,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; I am testing bitrot feature in Gluster 3.8.3 with<br>
&gt; disperse<br>
&gt; &gt;&gt; &gt;&gt; EC<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; volume<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; 4+1.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; When i write single small file (&lt; 10MB) after 2 seconds<br>
&gt; i<br>
&gt; &gt;&gt; &gt;&gt; can see<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; bitrot<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; signature in bricks for the file, but when i write<br>
&gt; multiple<br>
&gt; &gt;&gt; &gt;&gt; files<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; with<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; different size ( &gt; 10MB) it takes long time (&gt; 24hrs)<br>
&gt; to see<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; bitrot<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; signature in all the files.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;    The default timeout for signing to happen is 120<br>
&gt; seconds.<br>
&gt; &gt;&gt; &gt;&gt; So the<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; signing will happen<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;   120 secs after the last fd gets closed on that file. So<br>
&gt; if<br>
&gt; &gt;&gt; &gt;&gt; the<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; file<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; is<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; being written<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;   continuously, it will not be signed until 120 secs after<br>
&gt; &gt;&gt; &gt;&gt; it&#39;s<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; last<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; fd is<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; closed.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; My questions are.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; 1. I have enabled scrub schedule as hourly and throttle<br>
&gt; as<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; normal,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; does<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; this<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; make any impact in delaying bitrot signature?<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;       No.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; 2. other than &quot;bitd.log&quot; where else i can watch current<br>
&gt; &gt;&gt; &gt;&gt; status of<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; bitrot,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; like number of files added for signature and file<br>
&gt; status?<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;      Signature will happen after 120 sec of last fd<br>
&gt; closure,<br>
&gt; &gt;&gt; &gt;&gt; as<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; said<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; above.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;      There is not status command which tracks the<br>
&gt; signature<br>
&gt; &gt;&gt; &gt;&gt; of the<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; files.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;      But there is bitrot status command which tracks the<br>
&gt; &gt;&gt; &gt;&gt; number of<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; files<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;      scrubbed.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;      #gluster vol bitrot &lt;volname&gt; scrub status<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; 3. where i can confirm that all the files in the brick<br>
&gt; are<br>
&gt; &gt;&gt; &gt;&gt; bitrot<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; signed?<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;      As said, signing information of all the files is not<br>
&gt; &gt;&gt; &gt;&gt; tracked.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; 4. is there any file read size limit in bitrot?<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;      I didn&#39;t get. Could you please elaborate this ?<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; 5. options for tuning bitrot for faster signing of<br>
&gt; files?<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;      Bitrot feature is mainly to detect silent corruption<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; (bitflips) of<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; files due to long<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;      term storage. Hence the default is 120 sec of last fd<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; closure, the<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; signing happens.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;      But there is a tune able which can change the default<br>
&gt; &gt;&gt; &gt;&gt; 120 sec<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; but<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; that&#39;s only for<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;      testing purposes and we don&#39;t recommend it.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;       gluster vol get master features.expiry-time<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;      For testing purposes, you can change this default and<br>
&gt; &gt;&gt; &gt;&gt; test.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Thanks<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Amudhan<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; ______________________________<wbr>_________________<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Gluster-users mailing list<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; <a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/<wbr>mailman/listinfo/gluster-users</a><br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;<br>
&gt;<br>
</div></div></blockquote></div><br></div>