<html><head><meta http-equiv="Content-Type" content="text/html charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">Hi Atin,<div class=""><br class=""></div><div class="">Nice catch, as you said there was a mistake in the host file of gl4 where gl5 and gl6 were missing, now it works fine.</div><div class=""><br class=""></div><div class="">Thanks,</div><div class=""><br class=""></div><div class="">Cédric</div><div class=""><br class=""></div><div class=""><br class=""><div><blockquote type="cite" class=""><div class="">On 14 Dec 2016, at 05:10, Atin Mukherjee &lt;<a href="mailto:amukherj@redhat.com" class="">amukherj@redhat.com</a>&gt; wrote:</div><br class="Apple-interchange-newline"><div class=""><div dir="ltr" class=""><br class=""><div class="gmail_extra"><br class=""><div class="gmail_quote">On Wed, Dec 14, 2016 at 9:36 AM, Atin Mukherjee <span dir="ltr" class="">&lt;<a href="mailto:amukherj@redhat.com" target="_blank" class="">amukherj@redhat.com</a>&gt;</span> wrote:<br class=""><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr" class=""><div class=""><div class="">From gl4.dump file:<br class=""><br class="">glusterd.peer4.hostname=gl5&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br class="">glusterd.peer4.port=0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br class="">glusterd.peer4.state=3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br class="">glusterd.peer4.quorum-action=<wbr class="">0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br class="">glusterd.peer4.quorum-contrib=<wbr class="">2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br class="">glusterd.peer4.detaching=0&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br class="">glusterd.peer4.locked=0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br class="">glusterd.peer4.rpc.peername=&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br class=""><b class="">glusterd.peer4.rpc.connected=<wbr class="">0&nbsp;&nbsp;&nbsp;&nbsp;</b>&nbsp;&nbsp; <b class="">&lt;===== this indicates the gl5 is not connected with gl4, so add-brick command failed as it supposed to in this case&nbsp;</b> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br class="">glusterd.peer4.rpc.total-<wbr class="">bytes-read=0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br class="">glusterd.peer4.rpc.total-<wbr class="">bytes-written=0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br class="">glusterd.peer4.rpc.ping_msgs_<wbr class="">sent=0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<wbr class="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br class="">glusterd.peer4.rpc.msgs_sent=0<br class=""><br class=""></div>And the same goes true for gl6 as well as per this dump. So the issue is with gl4 node.<br class=""><br class=""></div><div class="">Now, in gl4's glusterd log I see the repetitive entries of following logs:<br class=""><br class="">[2016-12-13 16:35:31.438462] E [name.c:262:af_inet_client_<wbr class="">get_remote_sockaddr] 0-management: DNS resolution failed on host gl5<br class="">[2016-12-13 16:35:33.440155] E [name.c:262:af_inet_client_<wbr class="">get_remote_sockaddr] 0-management: DNS resolution failed on host gl6<br class="">[2016-12-13 16:35:34.441639] E [name.c:262:af_inet_client_<wbr class="">get_remote_sockaddr] 0-management: DNS resolution failed on host gl5<br class="">[2016-12-13 16:35:36.454546] E [name.c:262:af_inet_client_<wbr class="">get_remote_sockaddr] 0-management: DNS resolution failed on host gl6<br class="">[2016-12-13 16:35:37.456062] E [name.c:262:af_inet_client_<wbr class="">get_remote_sockaddr] 0-management: DNS resolution failed on host gl5 <br class=""><br class=""></div><div class="">The above indicates that gl4 is not able to resolve the DNS name for gl5 &amp; gl6 where as in gl5 &amp; gl6 it could resolve for gl4. Please check your DNS configuration and see if there are any incorrect entries put up there. From our side what we need to check is why peer status didn't show both gl5 &amp; gl6 as disconnected.<br class=""></div></div></blockquote><div class=""><br class=""></div><div class="">Can you run gluster peer status from gl4 and see if both gl5 &amp; gl6 are mentioned as disconnected, if so then its expected, since gl5 &amp; gl6 were connected for all the nodes apart from gl4 peer status on all the other nodes apart from gl4 would show up as connected and that's an expected behaviour. Please do confirm.<br class="">&nbsp;<br class=""></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr" class=""><div class=""><br class=""></div></div><div class="gmail_extra"><div class=""><div class="h5"><br class=""><div class="gmail_quote">On Wed, Dec 14, 2016 at 12:44 AM, Cedric Lemarchand <span dir="ltr" class="">&lt;<a href="mailto:yipikai7@gmail.com" target="_blank" class="">yipikai7@gmail.com</a>&gt;</span> wrote:<br class=""><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word" class=""><div class="">Thanks Atin, the files you asked :&nbsp;<a href="https://we.tl/XrOvFhffGq" target="_blank" class="">https://we.tl/XrOvFhffGq</a></div><div class=""><div class="m_1445756825834872340h5"><div class=""><br class=""></div><div class=""><blockquote type="cite" class=""><div class="">On 13 Dec 2016, at 19:08, Atin Mukherjee &lt;<a href="mailto:amukherj@redhat.com" target="_blank" class="">amukherj@redhat.com</a>&gt; wrote:</div><br class="m_1445756825834872340m_-2635758297168744153Apple-interchange-newline"><div class=""><div class=""><div class="">Thanks, we will get back on this. In the mean time can you please also share glusterd statedump file from both the nodes? The way to take statedump is 'kill -SIGUSR1 $(pidof glusterd)' and the file can be found at /var/run/gluster directory.</div></div><div class=""><br class=""><div class="gmail_quote"><div class="">On Tue, 13 Dec 2016 at 22:11, Cedric Lemarchand &lt;<a href="mailto:yipikai7@gmail.com" target="_blank" class="">yipikai7@gmail.com</a>&gt; wrote:<br class=""></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word" class="m_1445756825834872340m_-2635758297168744153gmail_msg">1. sorry, 3.9.0-1<div class="m_1445756825834872340m_-2635758297168744153gmail_msg">2. no it does nothing</div><div class="m_1445756825834872340m_-2635758297168744153gmail_msg">3. here they are, from gl1 to gl6 :&nbsp;<a href="https://we.tl/EPaMs6geoR" class="m_1445756825834872340m_-2635758297168744153gmail_msg" target="_blank">https://we.tl/EPaMs6geoR</a></div></div><div style="word-wrap:break-word" class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"></div><div class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"></div><div class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg"><blockquote type="cite" class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg">On 13 Dec 2016, at 16:49, Atin Mukherjee &lt;<a href="mailto:amukherj@redhat.com" class="m_1445756825834872340m_-2635758297168744153gmail_msg" target="_blank">amukherj@redhat.com</a>&gt; wrote:</div><br class="m_1445756825834872340m_-2635758297168744153gmail_msg m_1445756825834872340m_-2635758297168744153m_-2010779676140610534Apple-interchange-newline"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg">And 3. In case 2 doesn't work, please provide the glusterd log files from gl1 &amp; gl5<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"></div><div class="gmail_extra m_1445756825834872340m_-2635758297168744153gmail_msg"><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="gmail_quote m_1445756825834872340m_-2635758297168744153gmail_msg">On Tue, Dec 13, 2016 at 9:16 PM, Atin Mukherjee <span class="m_1445756825834872340m_-2635758297168744153gmail_msg">&lt;<a href="mailto:amukherj@redhat.com" class="m_1445756825834872340m_-2635758297168744153gmail_msg" target="_blank">amukherj@redhat.com</a>&gt;</span> wrote:<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><blockquote class="gmail_quote m_1445756825834872340m_-2635758297168744153gmail_msg" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg">1. Could you mention which gluster version are you running with?<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"></div>2. Does restarting glusterd instance on gl1 &amp; gl5 solves the issue (after removing the volume-id xattr from the bricks) ?<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"></div><div class="gmail_extra m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg m_1445756825834872340m_-2635758297168744153m_-2010779676140610534h5"><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="gmail_quote m_1445756825834872340m_-2635758297168744153gmail_msg">On Tue, Dec 13, 2016 at 8:56 PM, Cedric Lemarchand <span class="m_1445756825834872340m_-2635758297168744153gmail_msg">&lt;<a href="mailto:yipikai7@gmail.com" class="m_1445756825834872340m_-2635758297168744153gmail_msg" target="_blank">yipikai7@gmail.com</a>&gt;</span> wrote:<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><blockquote class="gmail_quote m_1445756825834872340m_-2635758297168744153gmail_msg" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello,<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">When I try to add 3 bricks to a working cluster composed of 3 nodes / 3 bricks in dispersed mode 2+1, it fails like this :<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">root@gl1:~# gluster volume add-brick vol1 gl4:/data/br1 gl5:/data/br1 gl6:/data/br1<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">volume add-brick: failed: Pre Validation failed on gl4. Host gl5 not connected<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">However all peers are connected and there aren't networking issues :<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">root@gl1:~# gluster peer status<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Number of Peers: 5<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Hostname: gl2<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Uuid: 616f100f-a3f4-46e4-b161-ee5db5<wbr class="">a60e26<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">State: Peer in Cluster (Connected)<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Hostname: gl3<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Uuid: acb828b8-f4b3-42ab-a9d2-b3e7b9<wbr class="">17dc9a<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">State: Peer in Cluster (Connected)<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Hostname: gl4<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Uuid: 813ad056-5e84-4fdb-ac13-38d24c<wbr class="">748bc4<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">State: Peer in Cluster (Connected)<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Hostname: gl5<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Uuid: a7933aeb-b08b-4ebb-a797-b8ecbe<wbr class="">5a03c6<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">State: Peer in Cluster (Connected)<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Hostname: gl6<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Uuid: 63c9a6c1-0adf-4cf5-af7b-b28a60<wbr class="">911c99<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">State: Peer in Cluster (Connected)<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">&nbsp;:<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">When I try a second time, the error is different :<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">root@gl1:~# gluster volume add-brick vol1 gl4:/data/br1 gl5:/data/br1 gl6:/data/br1<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">volume add-brick: failed: Pre Validation failed on gl5. /data/br1 is already part of a volume<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Pre Validation failed on gl6. /data/br1 is already part of a volume<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Pre Validation failed on gl4. /data/br1 is already part of a volume<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">It seems the previous try, even if it has failed, have created the gluster attributes on file system as shown by attr on gl4/5/6 :<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Attribute "glusterfs.volume-id" has a 16 byte value for /data/br1<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">I already purge gluster and reformat brick on gl4/5/6 but the issue persist, any ideas ? did I miss something ?<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Some informations :<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">root@gl1:~# gluster volume info<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Volume Name: vol1<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Type: Disperse<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Volume ID: bb563884-0e2a-4757-9fd5-cb851b<wbr class="">a113c3<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Status: Started<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Snapshot Count: 0<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Number of Bricks: 1 x (2 + 1) = 3<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Transport-type: tcp<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Bricks:<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Brick1: gl1:/data/br1<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Brick2: gl2:/data/br1<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Brick3: gl3:/data/br1<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Options Reconfigured:<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">features.scrub-freq: hourly<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">features.scrub: Inactive<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">features.bitrot: off<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">cluster.disperse-self-heal-dae<wbr class="">mon: enable<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">transport.address-family: inet<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">performance.readdir-ahead: on<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">nfs.disable: on, I have the following error :<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">root@gl1:~# gluster volume status<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Status of volume: vol1<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Gluster process&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;TCP Port&nbsp; RDMA Port&nbsp; Online&nbsp; Pid<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">------------------------------<wbr class="">------------------------------<wbr class="">------------------<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Brick gl1:/data/br1&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;49152&nbsp; &nbsp; &nbsp;0&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Y&nbsp; &nbsp; &nbsp; &nbsp;23403<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Brick gl2:/data/br1&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;49152&nbsp; &nbsp; &nbsp;0&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Y&nbsp; &nbsp; &nbsp; &nbsp;14545<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Brick gl3:/data/br1&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;49152&nbsp; &nbsp; &nbsp;0&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Y&nbsp; &nbsp; &nbsp; &nbsp;11348<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Self-heal Daemon on localhost&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;N/A&nbsp; &nbsp; &nbsp; &nbsp;N/A&nbsp; &nbsp; &nbsp; &nbsp; Y&nbsp; &nbsp; &nbsp; &nbsp;24766<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Self-heal Daemon on gl4&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;N/A&nbsp; &nbsp; &nbsp; &nbsp;N/A&nbsp; &nbsp; &nbsp; &nbsp; Y&nbsp; &nbsp; &nbsp; &nbsp;1087<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Self-heal Daemon on gl5&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;N/A&nbsp; &nbsp; &nbsp; &nbsp;N/A&nbsp; &nbsp; &nbsp; &nbsp; Y&nbsp; &nbsp; &nbsp; &nbsp;1080<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Self-heal Daemon on gl3&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;N/A&nbsp; &nbsp; &nbsp; &nbsp;N/A&nbsp; &nbsp; &nbsp; &nbsp; Y&nbsp; &nbsp; &nbsp; &nbsp;12321<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Self-heal Daemon on gl2&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;N/A&nbsp; &nbsp; &nbsp; &nbsp;N/A&nbsp; &nbsp; &nbsp; &nbsp; Y&nbsp; &nbsp; &nbsp; &nbsp;15496<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Self-heal Daemon on gl6&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;N/A&nbsp; &nbsp; &nbsp; &nbsp;N/A&nbsp; &nbsp; &nbsp; &nbsp; Y&nbsp; &nbsp; &nbsp; &nbsp;1091<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Task Status of Volume vol1<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">------------------------------<wbr class="">------------------------------<wbr class="">------------------<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">There are no active volume tasks<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">root@gl1:~# gluster volume info<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Volume Name: vol1<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Type: Disperse<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Volume ID: bb563884-0e2a-4757-9fd5-cb851b<wbr class="">a113c3<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Status: Started<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Snapshot Count: 0<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Number of Bricks: 1 x (2 + 1) = 3<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Transport-type: tcp<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Bricks:<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Brick1: gl1:/data/br1<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Brick2: gl2:/data/br1<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Brick3: gl3:/data/br1<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Options Reconfigured:<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">features.scrub-freq: hourly<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">features.scrub: Inactive<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">features.bitrot: off<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">cluster.disperse-self-heal-dae<wbr class="">mon: enable<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">transport.address-family: inet<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">performance.readdir-ahead: on<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">nfs.disable: on<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">root@gl1:~# gluster peer status<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Number of Peers: 5<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Hostname: gl2<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Uuid: 616f100f-a3f4-46e4-b161-ee5db5<wbr class="">a60e26<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">State: Peer in Cluster (Connected)<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Hostname: gl3<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Uuid: acb828b8-f4b3-42ab-a9d2-b3e7b9<wbr class="">17dc9a<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">State: Peer in Cluster (Connected)<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Hostname: gl4<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Uuid: 813ad056-5e84-4fdb-ac13-38d24c<wbr class="">748bc4<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">State: Peer in Cluster (Connected)<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Hostname: gl5<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Uuid: a7933aeb-b08b-4ebb-a797-b8ecbe<wbr class="">5a03c6<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">State: Peer in Cluster (Connected)<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Hostname: gl6<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Uuid: 63c9a6c1-0adf-4cf5-af7b-b28a60<wbr class="">911c99<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">State: Peer in Cluster (Connected)<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">______________________________<wbr class="">_________________<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class="">Gluster-users mailing list<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><a href="mailto:Gluster-users@gluster.org" class="m_1445756825834872340m_-2635758297168744153gmail_msg" target="_blank">Gluster-users@gluster.org</a><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""><a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" class="m_1445756825834872340m_-2635758297168744153gmail_msg" target="_blank">http://www.gluster.org/mailman<wbr class="">/listinfo/gluster-users</a><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class=""><br class=""></blockquote></div><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class="m_1445756825834872340m_-2635758297168744153gmail_msg" clear="all"><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"></div></div><span class="m_1445756825834872340m_-2635758297168744153gmail_msg m_1445756825834872340m_-2635758297168744153m_-2010779676140610534HOEnZb"><font class="m_1445756825834872340m_-2635758297168744153gmail_msg" color="#888888">-- <br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg m_1445756825834872340m_-2635758297168744153m_-2010779676140610534m_-7665095754714168145gmail_signature" data-smartmail="gmail_signature"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"></div><div class="m_1445756825834872340m_-2635758297168744153gmail_msg">~ Atin (atinm)<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"></div></div></div></div><br class=""><br class=""></font></span></div><br class=""><br class=""></blockquote></div><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class="m_1445756825834872340m_-2635758297168744153gmail_msg" clear="all"><br class="m_1445756825834872340m_-2635758297168744153gmail_msg">-- <br class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg m_1445756825834872340m_-2635758297168744153m_-2010779676140610534gmail_signature" data-smartmail="gmail_signature"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg"><div class="m_1445756825834872340m_-2635758297168744153gmail_msg"><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"></div><div class="m_1445756825834872340m_-2635758297168744153gmail_msg">~ Atin (atinm)<br class="m_1445756825834872340m_-2635758297168744153gmail_msg"></div></div></div></div><br class=""><br class=""></div><br class=""><br class=""></div></blockquote></div><br class="m_1445756825834872340m_-2635758297168744153gmail_msg"></div></div></div></blockquote></div></div><div dir="ltr" class="">-- <br class=""></div><div data-smartmail="gmail_signature" class="">- Atin (atinm)</div>
</div></blockquote></div><br class=""></div></div></div></blockquote></div><br class=""><br clear="all" class=""><br class=""></div></div><span class="HOEnZb"><font color="#888888" class="">-- <br class=""><div class="m_1445756825834872340gmail_signature" data-smartmail="gmail_signature"><div dir="ltr" class=""><div class=""><div dir="ltr" class=""><br class=""></div><div class="">~ Atin (atinm)<br class=""></div></div></div></div>
</font></span></div>
</blockquote></div><br class=""><br clear="all" class=""><br class="">-- <br class=""><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr" class=""><div class=""><div dir="ltr" class=""><br class=""></div><div class="">~ Atin (atinm)<br class=""></div></div></div></div>
</div></div>
</div></blockquote></div><br class=""></div></body></html>