<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Mar 23, 2016 at 11:54 AM, Anuradha Talur <span dir="ltr">&lt;<a href="mailto:atalur@redhat.com" target="_blank">atalur@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class=""><br>
<br>
----- Original Message -----<br>
&gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; To: &quot;Anuradha Talur&quot; &lt;<a href="mailto:atalur@redhat.com">atalur@redhat.com</a>&gt;<br>
&gt; Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>, <a href="mailto:gluster-devel@gluster.org">gluster-devel@gluster.org</a><br>
</span><span class="">&gt; Sent: Monday, March 21, 2016 10:44:53 AM<br>
&gt; Subject: Re: [Gluster-users] gluster volume heal info split brain command not showing files in split-brain<br>
&gt;<br>
&gt; Hi Anuradha,<br>
&gt;<br>
</span><span class="">&gt; Have you got any pointer from the above scenarios.<br>
&gt;<br>
</span>Hi Abhishek,<br>
<br>
I went through all the logs that you have given.<br>
There is only one brick&#39;s log in the info you provided,<br>
and for only one day. Where is the other brick&#39;s logfile?<br></blockquote><div><br></div><div>I am sharing the latest failure /var/log/glusterfs from both of the brick&#39;s in a single file named as glusterfs.txt with log-level=debug<br></div><div>1. In this file you get the logs for board A from line no 6 to 2241<br></div><div>2. from 2242 you will get the logs of board B<br><br></div><div>I have issued the cat on all files present in /var/log/glusterfs directory.<br></div><div><br></div><div>also there are two directory named as <br></div><div>coremp25(board B) - contains the /var/lib/glusterd contents<br></div><div>coremp03(board A)- contains the /var/lib/glusterd  contents<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
In the same log file I see a lot of connects and disconnects in quick succession.<br>
Which could be the cause of gfid mismatch if I/O was going on during the time.<br>
The other logs that have been provided also do not have enough information to<br>
determine how your setup could have ended up with no pending markers.<br></blockquote><div>How we can find out the pending markers? <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
I understand that output from heal info split-brain is more easy to get info<br>
for files in split-brain. But without pending markers, this info cannot be obtained.<br></blockquote><div>Please let me know if you required more logs. <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
For second scenario, is your self-heal-daemon on?<br></blockquote><div><br></div><div>Yes self-heal-daemon is no in this case.<br><br></div><div>Regards,<br></div><div>Abhishek <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="HOEnZb"><div class="h5">&gt; Regards,<br>
&gt; Abhishek<br>
&gt;<br>
&gt; On Fri, Mar 18, 2016 at 11:18 AM, ABHISHEK PALIWAL &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; wrote:<br>
&gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; On Fri, Mar 18, 2016 at 1:41 AM, Anuradha Talur &lt;<a href="mailto:atalur@redhat.com">atalur@redhat.com</a>&gt; wrote:<br>
&gt; &gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt; To: &quot;Anuradha Talur&quot; &lt;<a href="mailto:atalur@redhat.com">atalur@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt; Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>, <a href="mailto:gluster-devel@gluster.org">gluster-devel@gluster.org</a><br>
&gt; &gt;&gt; &gt; Sent: Thursday, March 17, 2016 4:00:58 PM<br>
&gt; &gt;&gt; &gt; Subject: Re: [Gluster-users] gluster volume heal info split brain<br>
&gt; &gt;&gt; command not showing files in split-brain<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Hi Anuradha,<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Please confirm me, this is bug in glusterfs or we need to do something<br>
&gt; &gt;&gt; at<br>
&gt; &gt;&gt; &gt; our end.<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Because this problem is stopping our development.<br>
&gt; &gt;&gt; Hi Abhishek,<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; When you say file is not getting sync, do you mean that the files are not<br>
&gt; &gt;&gt; in sync after healing or that the existing GFID mismatch that you tried to<br>
&gt; &gt;&gt; heal failed?<br>
&gt; &gt;&gt; In one of the previous mails, you said that the GFID mismatch problem is<br>
&gt; &gt;&gt; resolved, is it not so?<br>
&gt; &gt;&gt;<br>
&gt; &gt;<br>
&gt; &gt; As I mentioned I have two scenario:<br>
&gt; &gt; 1. First scenario is where files are in split-brain but not recognized by<br>
&gt; &gt; the the split-brain and heal info commands. So we are identifying those<br>
&gt; &gt; file when I/O errors occurred on those files (the same method mentioned in<br>
&gt; &gt; the link which you shared earlier) but this method is not reliable in our<br>
&gt; &gt; case because other modules have the dependencies on this file and those<br>
&gt; &gt; modules can&#39;t wait until heal in progress. In this case we required manual<br>
&gt; &gt; identification of the file those are falling in I/O error which is somehow<br>
&gt; &gt; not the correct way. It is better if the split-brain or heal info command<br>
&gt; &gt; identify the files and based on the output we will perform the self healing<br>
&gt; &gt; on those files only.<br>
&gt; &gt;<br>
&gt; &gt; 2. Second scenario in which we have one log file which have the fixed size<br>
&gt; &gt; and wrapping of data properties and continuously written by the system even<br>
&gt; &gt; when the other brick is down or rebooting. In this case, we have two brick<br>
&gt; &gt; in replica mode and when one goes down and comes up but this file remains<br>
&gt; &gt; out of sync. We are not getting any of the following on this file:<br>
&gt; &gt; A. Not recognized by the split-brain and heal info command.<br>
&gt; &gt; B. Not getting any I/O error<br>
&gt; &gt; C. Do not have the GFID mismatch<br>
&gt; &gt;<br>
&gt; &gt; Here, are the getfattr output of this file<br>
&gt; &gt;<br>
&gt; &gt; Brick B which rebooted and have the file out of sync<br>
&gt; &gt;<br>
&gt; &gt; getfattr -d -m . -e hex<br>
&gt; &gt; opt/lvmdir/c2/brick/logfiles/availability/CELLO_AVAILABILITY2_LOG.xml<br>
&gt; &gt;<br>
&gt; &gt; # file:<br>
&gt; &gt; opt/lvmdir/c2/brick/logfiles/availability/CELLO_AVAILABILITY2_LOG.xml<br>
&gt; &gt; trusted.afr.c_glusterfs-client-1=0x000000000000000000000000<br>
&gt; &gt; trusted.afr.dirty=0x000000000000000000000000<br>
&gt; &gt; trusted.bit-rot.version=0x000000000000000b56d6dd1d000ec7a9<br>
&gt; &gt; trusted.gfid=0x9f5e354ecfda40149ddce7d5ffe760ae<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; Brick A where file was getting updated when Brick B was rebooting<br>
&gt; &gt;<br>
&gt; &gt; getfattr -d -m . -e hex<br>
&gt; &gt; opt/lvmdir/c2/brick/logfiles/availability/CELLO_AVAILABILITY2_LOG.xml<br>
&gt; &gt; trusted.afr.c_glusterfs-client-0=0x000000080000000000000000<br>
&gt; &gt; trusted.afr.c_glusterfs-client-2=0x000000020000000000000000<br>
&gt; &gt; trusted.afr.c_glusterfs-client-4=0x000000020000000000000000<br>
&gt; &gt; trusted.afr.c_glusterfs-client-6=0x000000020000000000000000<br>
&gt; &gt; trusted.afr.dirty=0x000000000000000000000000<br>
&gt; &gt; trusted.bit-rot.version=0x000000000000000b56d6dcb7000c87e7<br>
&gt; &gt; trusted.gfid=0x9f5e354ecfda40149ddce7d5ffe760ae<br>
&gt; &gt;<br>
&gt; &gt; This scenario is not 100% reproducible but out of 20 cycle we can<br>
&gt; &gt; reproduce it one or two times.<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;&gt; To your question about finding the files in split-brain, can you try<br>
&gt; &gt;&gt; running gluster volume heal &lt;volname&gt; info? Heal info is also supposed to<br>
&gt; &gt;&gt; show<br>
&gt; &gt;&gt; the files in split-brain.<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; This heal info command is also not working.<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;&gt; If the GFID mismatch is not resolved yet, it would really help understand<br>
&gt; &gt;&gt; the underlying problem if you give the output of getfattr -m. -de hex<br>
&gt; &gt;&gt; &lt;path-to-parent-directory-of-the-file-in-GFID-mismatch&gt;.<br>
&gt; &gt;&gt;<br>
&gt; &gt;<br>
&gt; &gt; It resolved the problem but we don&#39;t want to go with that solution<br>
&gt; &gt; (mentioned in the link provided by) we want the consistency and out come<br>
&gt; &gt; from the split-brain or heal info files.<br>
&gt; &gt;<br>
&gt; &gt; The output you are asking for parent directory I have already shared you<br>
&gt; &gt; in this mail chain. I am also attaching one more time for your reference.<br>
&gt; &gt;<br>
&gt; &gt; Please let me know if you have any query regarding the above scenarios.<br>
&gt; &gt;<br>
&gt; &gt; Regards,<br>
&gt; &gt; Abhishek<br>
&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Regards,<br>
&gt; &gt;&gt; &gt; Abhishek<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; On Thu, Mar 17, 2016 at 1:54 PM, ABHISHEK PALIWAL &lt;<br>
&gt; &gt;&gt; <a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt; wrote:<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt; Hi Anuradha,<br>
&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt; But in this case I need to do tail on each file which is time taking<br>
&gt; &gt;&gt; &gt; &gt; process and other end I can&#39;t pause my module until these file is<br>
&gt; &gt;&gt; getting<br>
&gt; &gt;&gt; &gt; &gt; healed.<br>
&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt; Any how I need the output of the split-brain to resolve this problem.<br>
&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt; Regards,<br>
&gt; &gt;&gt; &gt; &gt; Abhishek<br>
&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt; On Wed, Mar 16, 2016 at 6:21 PM, ABHISHEK PALIWAL &lt;<br>
&gt; &gt;&gt; <a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a><br>
&gt; &gt;&gt; &gt; &gt; &gt; wrote:<br>
&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt; Hi Anuradha,<br>
&gt; &gt;&gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt; The issue is resolved but we have one more issue something similar to<br>
&gt; &gt;&gt; &gt; &gt;&gt; this one in which the file is not getting sync after the steps<br>
&gt; &gt;&gt; followed,<br>
&gt; &gt;&gt; &gt; &gt;&gt; mentioned in the link which you shared in the previous mail.<br>
&gt; &gt;&gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt; And problem is that why split-brain command is not showing<br>
&gt; &gt;&gt; split-brain<br>
&gt; &gt;&gt; &gt; &gt;&gt; entries.<br>
&gt; &gt;&gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt; Regards,<br>
&gt; &gt;&gt; &gt; &gt;&gt; Abhishek<br>
&gt; &gt;&gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt; On Wed, Mar 16, 2016 at 6:06 PM, Anuradha Talur &lt;<a href="mailto:atalur@redhat.com">atalur@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt; wrote:<br>
&gt; &gt;&gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; From: &quot;Anuradha Talur&quot; &lt;<a href="mailto:atalur@redhat.com">atalur@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; To: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>, <a href="mailto:gluster-devel@gluster.org">gluster-devel@gluster.org</a><br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; Sent: Wednesday, March 16, 2016 5:32:26 PM<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; Subject: Re: [Gluster-users] gluster volume heal info split brain<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; command not showing files in split-brain<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; To: &quot;Anuradha Talur&quot; &lt;<a href="mailto:atalur@redhat.com">atalur@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>, <a href="mailto:gluster-devel@gluster.org">gluster-devel@gluster.org</a><br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; Sent: Wednesday, March 16, 2016 4:39:26 PM<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; Subject: Re: [Gluster-users] gluster volume heal info split<br>
&gt; &gt;&gt; brain<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; command<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; not showing files in split-brain<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; Hi Anuradha,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; I am doing the same which is mentioned in the link you shared<br>
&gt; &gt;&gt; and It<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; has<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; been resolved the issue.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; But my question is if it is the split-brain scenario then why<br>
&gt; &gt;&gt; the<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; command<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &quot;gluster volume heal info split-brain&quot;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;  not showing these files in the output even not the parent<br>
&gt; &gt;&gt; directory<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; is<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; present in split-brain.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; Please find the requested logs<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; Abhishek,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; Yes, ideally it should show. I will look into it. The only reason I<br>
&gt; &gt;&gt; can<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; think of, is when parent directory did not have any pending markers<br>
&gt; &gt;&gt; to<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; indicate split-brain; which is why I asked getfattr output for the<br>
&gt; &gt;&gt; parent<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; directory too. But if the issue is resolved, there isn&#39;t much info<br>
&gt; &gt;&gt; we can<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; get out of it. Thanks for sharing the logs. Will see what could have<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; caused<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; this.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; Abhishek,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; Yes, ideally it should show. I will look into it.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; I saw another case with this issue. The parent directory did not<br>
&gt; &gt;&gt; have<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; any pe<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; On Wed, Mar 16, 2016 at 4:20 PM, Anuradha Talur &lt;<br>
&gt; &gt;&gt; <a href="mailto:atalur@redhat.com">atalur@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; wrote:<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; Hi Abhishek,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; The files that are reporting i/o error have gfid-mismatch.<br>
&gt; &gt;&gt; This<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; situation<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; is called directory or entry split-brain. You can find steps<br>
&gt; &gt;&gt; to<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; resolve<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; this kind of split brain here :<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; <a href="https://gluster.readthedocs.org/en/latest/Troubleshooting/split-brain/" rel="noreferrer" target="_blank">https://gluster.readthedocs.org/en/latest/Troubleshooting/split-brain/</a> .<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; Ideally, the parent directories of these files have to be<br>
&gt; &gt;&gt; listed<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; in heal<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; info split-brain output. Can you please get extended<br>
&gt; &gt;&gt; attributes of<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; parent<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; directories of the files that show i/o error (Same getfattr<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; command that<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; you previously used.) ?<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; To: &quot;Anuradha Talur&quot; &lt;<a href="mailto:atalur@redhat.com">atalur@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>, <a href="mailto:gluster-devel@gluster.org">gluster-devel@gluster.org</a><br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; Sent: Thursday, March 10, 2016 11:22:35 AM<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; Subject: Re: [Gluster-users] gluster volume heal info split<br>
&gt; &gt;&gt; brain<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; command not showing files in split-brain<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; Hi Anuradha,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; Please find the glusterfs and glusterd logs directory as an<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; attachment.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; Regards,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; Abhishek<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; On Wed, Mar 9, 2016 at 5:54 PM, ABHISHEK PALIWAL &lt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; <a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; wrote:<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Hi Anuradha,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Sorry for late reply.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Please find the requested logs below:<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Remote: 10.32.0.48<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Local : 10.32.1.144<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Local:<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; #gluster volume heal c_glusterfs info split-brain<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Brick 10.32.1.144:/opt/lvmdir/c2/brick<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Number of entries in split-brain: 0<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Brick 10.32.0.48:/opt/lvmdir/c2/brick<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Number of entries in split-brain: 0<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Remote:<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; #gluster volume heal c_glusterfs info split-brain<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Brick 10.32.1.144:/opt/lvmdir/c2/brick<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Number of entries in split-brain: 0<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Brick 10.32.0.48:/opt/lvmdir/c2/brick<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Number of entries in split-brain: 0<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; auto-sync.sh.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Here you can see that i/o error is detected. Below is the<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; required<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; meta<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; data from both the bricks.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; 1)<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; stat: cannot stat<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &#39;/mnt/c//public_html/cello/ior_files/nameroot.ior&#39;:<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Input/output error<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Remote:<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; getfattr -d -m . -e hex<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; opt/lvmdir/c2/brick/public_html/cello/ior_files/nameroot.ior<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; # file:<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; opt/lvmdir/c2/brick/public_html/cello/ior_files/nameroot.ior<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.afr.dirty=0x000000000000000000000000<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.bit-rot.version=0x000000000000000256ded2f6000ad80f<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.gfid=0x771221a7bb3c4f1aade40ce9e38a95ee<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Local:<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; getfattr -d -m . -e hex<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; opt/lvmdir/c2/brick/public_html/cello/ior_files/nameroot.ior<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; # file:<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; opt/lvmdir/c2/brick/public_html/cello/ior_files/nameroot.ior<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.bit-rot.version=0x000000000000000256ded38f000e3a51<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.gfid=0x8ea33f46703c4e2d95c09153c1b858fd<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; 2)<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; stat: cannot stat &#39;/mnt/c//security/corbasecurity&#39;:<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; Input/output<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; error<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Remote:<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; getfattr -d -m . -e hex<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; opt/lvmdir/c2/brick/security/corbasecurity<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; # file: opt/lvmdir/c2/brick/security/corbasecurity<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.afr.dirty=0x000000000000000000000000<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.bit-rot.version=0x000000000000000256ded2f6000ad80f<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.gfid=0xd298b7a0c8834f3e99abb39741363013<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Local:<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; getfattr -d -m . -e hex<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; opt/lvmdir/c2/brick/security/corbasecurity<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; # file: opt/lvmdir/c2/brick/security/corbasecurity<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.bit-rot.version=0x000000000000000256ded38f000e3a51<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; trusted.gfid=0x890df0f706184b52803fac3242a2f15b<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; I observed that getfattr command output doesn&#39;t show all<br>
&gt; &gt;&gt; the<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; fields<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; all<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; the times.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Here you can check that gluster split-brain command hasn&#39;t<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; reported<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; any<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; split-brains but resulted in IO errors when accessed few<br>
&gt; &gt;&gt; files.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Could you please tell me if &quot;split-brain&quot; command doesn&#39;t<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; reported<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; any<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; entry as output, then is there any way through which we<br>
&gt; &gt;&gt; can<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; find out<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; that<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; the files are in split-brain if we are getting the IO<br>
&gt; &gt;&gt; error on<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; those<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; file.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Regards,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; Abhishek<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt; On Thu, Mar 3, 2016 at 5:32 PM, Anuradha Talur &lt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; <a href="mailto:atalur@redhat.com">atalur@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; wrote:<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; To: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>,<br>
&gt; &gt;&gt; <a href="mailto:gluster-devel@gluster.org">gluster-devel@gluster.org</a><br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; Sent: Thursday, March 3, 2016 12:10:42 PM<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; Subject: [Gluster-users] gluster volume heal info split<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; brain<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; command<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; not     showing files in split-brain<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; Hello,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; In gluster, we use the command &quot;gluster volume heal<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; c_glusterfs<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; info<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; split-brain&quot; to find the files that are in split-brain<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; scenario.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; We run heal script (developed by Windriver prime team)<br>
&gt; &gt;&gt; on<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; the<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; files<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; reported<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; by above command to resolve split-brain issue.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; But we observed that the above command is not showing<br>
&gt; &gt;&gt; all<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; files<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; that<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; are in<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; split-brain,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; even though split brain scenario actually exists on the<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; node.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; Now a days this issue is seen more often and IO errors<br>
&gt; &gt;&gt; are<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; reported<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; when<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; tried to access these files under split-brain.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; Can you please check why this gluster command is not<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; showing files<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; under<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; split-brain?<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; We can provide you required logs and support to<br>
&gt; &gt;&gt; resolve this<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; issue.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; Hi,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; Could you paste the output of getfattr -m. -de hex<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &lt;path-to-files-in-split-brain&gt; from all the bricks that<br>
&gt; &gt;&gt; the<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; files<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; lie<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; in?<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; Please reply on this because I am not getting any reply<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; from the<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; community.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; --<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; Regards<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; Abhishek Paliwal<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; _______________________________________________<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; Gluster-users mailing list<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; &gt; <a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; --<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; Thanks,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt; Anuradha.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; --<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; Thanks,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt; Anuradha.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; --<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; Regards<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt; Abhishek Paliwal<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; --<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; Thanks,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt; Anuradha.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; --<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; Thanks,<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt; Anuradha.<br>
&gt; &gt;&gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt; --<br>
&gt; &gt;&gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;&gt; Regards<br>
&gt; &gt;&gt; &gt; &gt;&gt; Abhishek Paliwal<br>
&gt; &gt;&gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt; --<br>
&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt; &gt; Regards<br>
&gt; &gt;&gt; &gt; &gt; Abhishek Paliwal<br>
&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; --<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Regards<br>
&gt; &gt;&gt; &gt; Abhishek Paliwal<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; --<br>
&gt; &gt;&gt; Thanks,<br>
&gt; &gt;&gt; Anuradha.<br>
&gt; &gt;&gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; --<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; Regards<br>
&gt; &gt; Abhishek Paliwal<br>
&gt; &gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; Regards<br>
&gt; Abhishek Paliwal<br>
&gt;<br>
<br>
</div></div><span class="HOEnZb"><font color="#888888">--<br>
Thanks,<br>
Anuradha.<br>
</font></span></blockquote></div><br><br clear="all"><br></div></div>