<div dir="ltr"><div>Hi Anuradha,<br><br></div><div>I am doing the same which is mentioned in the link you shared and It has been resolved the issue.<br><br></div><div>But my question is if it is the split-brain scenario then why the command &quot;gluster volume heal info split-brain&quot;<br></div><div> not showing these files in the output even not the parent directory is present in split-brain.<br><br></div><div>Please find the requested logs<br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Mar 16, 2016 at 4:20 PM, Anuradha Talur <span dir="ltr">&lt;<a href="mailto:atalur@redhat.com" target="_blank">atalur@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Abhishek,<br>
<br>
The files that are reporting i/o error have gfid-mismatch. This situation is called directory or entry split-brain. You can find steps to resolve this kind of split brain here : <a href="https://gluster.readthedocs.org/en/latest/Troubleshooting/split-brain/" rel="noreferrer" target="_blank">https://gluster.readthedocs.org/en/latest/Troubleshooting/split-brain/</a> .<br>
<br>
Ideally, the parent directories of these files have to be listed in heal info split-brain output. Can you please get extended attributes of parent directories of the files that show i/o error (Same getfattr command that you previously used.) ?<br>
<span class="im HOEnZb"><br>
----- Original Message -----<br>
&gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
</span><div class="HOEnZb"><div class="h5">&gt; To: &quot;Anuradha Talur&quot; &lt;<a href="mailto:atalur@redhat.com">atalur@redhat.com</a>&gt;<br>
&gt; Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>, <a href="mailto:gluster-devel@gluster.org">gluster-devel@gluster.org</a><br>
&gt; Sent: Thursday, March 10, 2016 11:22:35 AM<br>
&gt; Subject: Re: [Gluster-users] gluster volume heal info split brain command not showing files in split-brain<br>
&gt;<br>
&gt; Hi Anuradha,<br>
&gt;<br>
&gt; Please find the glusterfs and glusterd logs directory as an attachment.<br>
&gt;<br>
&gt; Regards,<br>
&gt; Abhishek<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On Wed, Mar 9, 2016 at 5:54 PM, ABHISHEK PALIWAL &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; wrote:<br>
&gt;<br>
&gt; &gt; Hi Anuradha,<br>
&gt; &gt;<br>
&gt; &gt; Sorry for late reply.<br>
&gt; &gt;<br>
&gt; &gt; Please find the requested logs below:<br>
&gt; &gt;<br>
&gt; &gt; Remote: 10.32.0.48<br>
&gt; &gt; Local : 10.32.1.144<br>
&gt; &gt;<br>
&gt; &gt; Local:<br>
&gt; &gt; #gluster volume heal c_glusterfs info split-brain<br>
&gt; &gt; Brick 10.32.1.144:/opt/lvmdir/c2/brick<br>
&gt; &gt; Number of entries in split-brain: 0<br>
&gt; &gt;<br>
&gt; &gt; Brick 10.32.0.48:/opt/lvmdir/c2/brick<br>
&gt; &gt; Number of entries in split-brain: 0<br>
&gt; &gt;<br>
&gt; &gt; Remote:<br>
&gt; &gt; #gluster volume heal c_glusterfs info split-brain<br>
&gt; &gt; Brick 10.32.1.144:/opt/lvmdir/c2/brick<br>
&gt; &gt; Number of entries in split-brain: 0<br>
&gt; &gt;<br>
&gt; &gt; Brick 10.32.0.48:/opt/lvmdir/c2/brick<br>
&gt; &gt; Number of entries in split-brain: 0<br>
&gt; &gt;<br>
&gt; &gt; auto-sync.sh.<br>
&gt; &gt; Here you can see that i/o error is detected. Below is the required meta<br>
&gt; &gt; data from both the bricks.<br>
&gt; &gt;<br>
&gt; &gt; 1)<br>
&gt; &gt; stat: cannot stat &#39;/mnt/c//public_html/cello/ior_files/nameroot.ior&#39;:<br>
&gt; &gt; Input/output error<br>
&gt; &gt; Remote:<br>
&gt; &gt;<br>
&gt; &gt; getfattr -d -m . -e hex<br>
&gt; &gt; opt/lvmdir/c2/brick/public_html/cello/ior_files/nameroot.ior<br>
&gt; &gt; # file: opt/lvmdir/c2/brick/public_html/cello/ior_files/nameroot.ior<br>
&gt; &gt; trusted.afr.dirty=0x000000000000000000000000<br>
&gt; &gt; trusted.bit-rot.version=0x000000000000000256ded2f6000ad80f<br>
&gt; &gt; trusted.gfid=0x771221a7bb3c4f1aade40ce9e38a95ee<br>
&gt; &gt;<br>
&gt; &gt; Local:<br>
&gt; &gt;<br>
&gt; &gt; getfattr -d -m . -e hex<br>
&gt; &gt; opt/lvmdir/c2/brick/public_html/cello/ior_files/nameroot.ior<br>
&gt; &gt; # file: opt/lvmdir/c2/brick/public_html/cello/ior_files/nameroot.ior<br>
&gt; &gt; trusted.bit-rot.version=0x000000000000000256ded38f000e3a51<br>
&gt; &gt; trusted.gfid=0x8ea33f46703c4e2d95c09153c1b858fd<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; 2)<br>
&gt; &gt; stat: cannot stat &#39;/mnt/c//security/corbasecurity&#39;: Input/output error<br>
&gt; &gt; Remote:<br>
&gt; &gt;<br>
&gt; &gt; getfattr -d -m . -e hex opt/lvmdir/c2/brick/security/corbasecurity<br>
&gt; &gt; # file: opt/lvmdir/c2/brick/security/corbasecurity<br>
&gt; &gt; trusted.afr.dirty=0x000000000000000000000000<br>
&gt; &gt; trusted.bit-rot.version=0x000000000000000256ded2f6000ad80f<br>
&gt; &gt; trusted.gfid=0xd298b7a0c8834f3e99abb39741363013<br>
&gt; &gt;<br>
&gt; &gt; Local:<br>
&gt; &gt;<br>
&gt; &gt; getfattr -d -m . -e hex opt/lvmdir/c2/brick/security/corbasecurity<br>
&gt; &gt; # file: opt/lvmdir/c2/brick/security/corbasecurity<br>
&gt; &gt; trusted.bit-rot.version=0x000000000000000256ded38f000e3a51<br>
&gt; &gt; trusted.gfid=0x890df0f706184b52803fac3242a2f15b<br>
&gt; &gt;<br>
&gt; &gt; I observed that getfattr command output doesn&#39;t show all the fields all<br>
&gt; &gt; the times.<br>
&gt; &gt;<br>
&gt; &gt; Here you can check that gluster split-brain command hasn&#39;t reported any<br>
&gt; &gt; split-brains but resulted in IO errors when accessed few files.<br>
&gt; &gt;<br>
&gt; &gt; Could you please tell me if &quot;split-brain&quot; command doesn&#39;t reported any<br>
&gt; &gt; entry as output, then is there any way through which we can find out that<br>
&gt; &gt; the files are in split-brain if we are getting the IO error on those file.<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; Regards,<br>
&gt; &gt; Abhishek<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; On Thu, Mar 3, 2016 at 5:32 PM, Anuradha Talur &lt;<a href="mailto:atalur@redhat.com">atalur@redhat.com</a>&gt; wrote:<br>
&gt; &gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt; To: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>, <a href="mailto:gluster-devel@gluster.org">gluster-devel@gluster.org</a><br>
&gt; &gt;&gt; &gt; Sent: Thursday, March 3, 2016 12:10:42 PM<br>
&gt; &gt;&gt; &gt; Subject: [Gluster-users] gluster volume heal info split brain command<br>
&gt; &gt;&gt; not     showing files in split-brain<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Hello,<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; In gluster, we use the command &quot;gluster volume heal c_glusterfs info<br>
&gt; &gt;&gt; &gt; split-brain&quot; to find the files that are in split-brain scenario.<br>
&gt; &gt;&gt; &gt; We run heal script (developed by Windriver prime team) on the files<br>
&gt; &gt;&gt; reported<br>
&gt; &gt;&gt; &gt; by above command to resolve split-brain issue.<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; But we observed that the above command is not showing all files that<br>
&gt; &gt;&gt; are in<br>
&gt; &gt;&gt; &gt; split-brain,<br>
&gt; &gt;&gt; &gt; even though split brain scenario actually exists on the node.<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Now a days this issue is seen more often and IO errors are reported when<br>
&gt; &gt;&gt; &gt; tried to access these files under split-brain.<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Can you please check why this gluster command is not showing files under<br>
&gt; &gt;&gt; &gt; split-brain?<br>
&gt; &gt;&gt; &gt; We can provide you required logs and support to resolve this issue.<br>
&gt; &gt;&gt; Hi,<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Could you paste the output of getfattr -m. -de hex<br>
&gt; &gt;&gt; &lt;path-to-files-in-split-brain&gt; from all the bricks that the files lie in?<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Please reply on this because I am not getting any reply from the<br>
&gt; &gt;&gt; community.<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; --<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Regards<br>
&gt; &gt;&gt; &gt; Abhishek Paliwal<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; _______________________________________________<br>
&gt; &gt;&gt; &gt; Gluster-users mailing list<br>
&gt; &gt;&gt; &gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt; &gt;&gt; &gt; <a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; --<br>
&gt; &gt;&gt; Thanks,<br>
&gt; &gt;&gt; Anuradha.<br>
&gt; &gt;&gt;<br>
&gt; &gt;<br>
&gt;<br>
<br>
</div></div><span class="HOEnZb"><font color="#888888">--<br>
Thanks,<br>
Anuradha.<br>
</font></span></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><div dir="ltr"><br><br><br><br>Regards<br>
Abhishek Paliwal<br>
</div></div>
</div>