<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 12 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0cm;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;}
@page WordSection1
{size:612.0pt 792.0pt;
margin:3.0cm 2.0cm 3.0cm 2.0cm;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="DA" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span lang="EN-US">Hi,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">I have a wired situation. Is this as it should be? or what is going on<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"># gluster --version<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">glusterfs 3.6.2 built on Jan 22 2015 12:58:11<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">There are 8 files reported in split-brain (1024 times), but they seem to be identical.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"># gluster volume heal glu_rhevtst_dr2_data_01 info split-brain| awk '$3 ~ /^\// {print $3}'|sort|uniq -d|wc -l<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">8<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Also when I run heal info without split-brain it all looks fine.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"># gluster volume heal glu_rhevtst_dr2_data_01 info<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">-- snip --<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick glustertst03.net.dr.dk:/bricks/brick1/glu_rhevtst_dr2_data_01/<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Number of entries: 0<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick glustertst04.net.dr.dk:/bricks/brick1/glu_rhevtst_dr2_data_01/<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Number of entries: 0<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick glustertst03.net.dr.dk:/bricks/brick2/glu_rhevtst_dr2_data_01/<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Number of entries: 0<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick glustertst04.net.dr.dk:/bricks/brick2/glu_rhevtst_dr2_data_01/<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Number of entries: 0<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">The fattr and md5sum on the files are identical on both nodes (except for the contri=). Here is one sample<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">[root@glustertst03 ~]# getfattr -d -m . -e hex /bricks/brick1/glu_rhevtst_dr2_data_01/6bdc67d1-4ae5-47e3-86c3-ef0916996862/images/8e488152-be3c-42fb-909f-fd123a033a8e/7718978e-cd30-4916-966e-c9cd65e6f14c<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">getfattr: Removing leading '/' from absolute path names<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"># file: bricks/brick1/glu_rhevtst_dr2_data_01/6bdc67d1-4ae5-47e3-86c3-ef0916996862/images/8e488152-be3c-42fb-909f-fd123a033a8e/7718978e-cd30-4916-966e-c9cd65e6f14c<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">security.selinux=0x756e636f6e66696e65645f753a6f626a6563745f723a66696c655f743a733000<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">trusted.afr.dirty=0x000000000000000000000000<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">trusted.afr.glu_rhevtst_dr2_data_01-client-0=0x000000000000000000000000<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">trusted.afr.glu_rhevtst_dr2_data_01-client-1=0x000000000000000000000000<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">trusted.gfid=0x4c717a67aed64ad4b78b9881af44be61<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">trusted.glusterfs.quota.9fc26a27-988b-4926-817e-d184d87f16bf.contri=0x000000077275f000<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">trusted.pgfid.9fc26a27-988b-4926-817e-d184d87f16bf=0x00000001<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">[root@glustertst03 ~]# md5sum /bricks/brick1/glu_rhevtst_dr2_data_01/6bdc67d1-4ae5-47e3-86c3-ef0916996862/images/8e488152-be3c-42fb-909f-fd123a033a8e/7718978e-cd30-4916-966e-c9cd65e6f14c<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">bd9b7b68cc9f80fb9e7782a4569afa2b /bricks/brick1/glu_rhevtst_dr2_data_01/6bdc67d1-4ae5-47e3-86c3-ef0916996862/images/8e488152-be3c-42fb-909f-fd123a033a8e/7718978e-cd30-4916-966e-c9cd65e6f14c<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">[root@glustertst04 ~]# getfattr -d -m . -e hex /bricks/brick1/glu_rhevtst_dr2_data_01/6bdc67d1-4ae5-47e3-86c3-ef0916996862/images/8e488152-be3c-42fb-909f-fd123a033a8e/7718978e-cd30-4916-966e-c9cd65e6f14c<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">getfattr: Removing leading '/' from absolute path names<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"># file: bricks/brick1/glu_rhevtst_dr2_data_01/6bdc67d1-4ae5-47e3-86c3-ef0916996862/images/8e488152-be3c-42fb-909f-fd123a033a8e/7718978e-cd30-4916-966e-c9cd65e6f14c<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">security.selinux=0x756e636f6e66696e65645f753a6f626a6563745f723a66696c655f743a733000<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">trusted.afr.dirty=0x000000000000000000000000<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">trusted.afr.glu_rhevtst_dr2_data_01-client-0=0x000000000000000000000000<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">trusted.afr.glu_rhevtst_dr2_data_01-client-1=0x000000000000000000000000<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">trusted.gfid=0x4c717a67aed64ad4b78b9881af44be61<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">trusted.glusterfs.quota.9fc26a27-988b-4926-817e-d184d87f16bf.contri=0x0000000772958000<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">trusted.pgfid.9fc26a27-988b-4926-817e-d184d87f16bf=0x00000001<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">[root@glustertst04 ~]# md5sum /bricks/brick1/glu_rhevtst_dr2_data_01/6bdc67d1-4ae5-47e3-86c3-ef0916996862/images/8e488152-be3c-42fb-909f-fd123a033a8e/7718978e-cd30-4916-966e-c9cd65e6f14c<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">bd9b7b68cc9f80fb9e7782a4569afa2b /bricks/brick1/glu_rhevtst_dr2_data_01/6bdc67d1-4ae5-47e3-86c3-ef0916996862/images/8e488152-be3c-42fb-909f-fd123a033a8e/7718978e-cd30-4916-966e-c9cd65e6f14c<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"># gluster volume heal glu_rhevtst_dr2_data_01 info split-brain<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"> -- snip --<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick glustoretst04.net.dr.dk:/bricks/brick2/glu_rhevtst_dr2_data_01<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Number of entries: 1024<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">at path on brick<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">-----------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">2015-07-14 03:56:22 /6bdc67d1-4ae5-47e3-86c3-ef0916996862/images/a2a61288-e39e-4765-a7a5-870b5a248e8d/e168cf91-8005-49da-9d11-b07f326898ba<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick glustoretst03.net.dr.dk:/bricks/brick2/glu_rhevtst_dr2_data_01<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Number of entries: 1024<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">at path on brick<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">-----------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">2015-07-14 03:55:02 /6bdc67d1-4ae5-47e3-86c3-ef0916996862/images/a2a61288-e39e-4765-a7a5-870b5a248e8d/e168cf91-8005-49da-9d11-b07f326898ba<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick glustoretst04.net.dr.dk:/bricks/brick1/glu_rhevtst_dr2_data_01<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Number of entries: 1024<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">at path on brick<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">-----------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">2015-07-14 08:01:22 /6bdc67d1-4ae5-47e3-86c3-ef0916996862/images/8e488152-be3c-42fb-909f-fd123a033a8e/7718978e-cd30-4916-966e-c9cd65e6f14c<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick glustoretst03.net.dr.dk:/bricks/brick1/glu_rhevtst_dr2_data_01<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Number of entries: 1024<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">at path on brick<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">-----------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">2015-07-14 07:41:25 /6bdc67d1-4ae5-47e3-86c3-ef0916996862/images/8e488152-be3c-42fb-909f-fd123a033a8e/7718978e-cd30-4916-966e-c9cd65e6f14c<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"># gluster volume info glu_rhevtst_dr2_data_01<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Volume Name: glu_rhevtst_dr2_data_01<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Type: Distributed-Replicate<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Volume ID: 5f24fb9e-76cd-4610-85c5-4b4734349958<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Status: Started<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Number of Bricks: 4 x 2 = 8<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Transport-type: tcp<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Bricks:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick1: glustoretst03.net.dr.dk:/bricks/brick1/glu_rhevtst_dr2_data_01<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick2: glustoretst04.net.dr.dk:/bricks/brick1/glu_rhevtst_dr2_data_01<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick3: glustoretst03.net.dr.dk:/bricks/brick2/glu_rhevtst_dr2_data_01<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick4: glustoretst04.net.dr.dk:/bricks/brick2/glu_rhevtst_dr2_data_01<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick5: glustoretst01.net.dr.dk:/bricks/brick1/glu_rhevtst_dr2_data_01<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick6: glustoretst02.net.dr.dk:/bricks/brick1/glu_rhevtst_dr2_data_01<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick7: glustoretst01.net.dr.dk:/bricks/brick2/glu_rhevtst_dr2_data_01<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Brick8: glustoretst02.net.dr.dk:/bricks/brick2/glu_rhevtst_dr2_data_01<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Options Reconfigured:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">nfs.disable: on<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">user.cifs: disable<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">auth.allow: xxxxxxx<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">performance.quick-read: off<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">performance.read-ahead: off<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">performance.io-cache: off<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">performance.stat-prefetch: off<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">cluster.eager-lock: enable<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">network.remote-dio: enable<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">cluster.quorum-type: none<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">cluster.server-quorum-type: server<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">storage.owner-uid: 36<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">storage.owner-gid: 36<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">features.quota-deem-statfs: on<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">features.quota: on<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">cluster.server-quorum-ratio: 50%<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Thanks<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Jesper<o:p></o:p></span></p>
</div>
</body>
</html>