<div dir="ltr"><div><div><div>Hi Gaurav,<br><br><br></div>Here, I am sharing the log.zip file having logs for both of the nodes and other logs as well.<br><br></div><div>Now I think we can analyze the logs and find out the actual problem of this issue.<br></div><div><br></div>Regards,<br></div>Abhishek<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 24, 2016 at 2:44 PM, Gaurav Garg <span dir="ltr">&lt;<a href="mailto:ggarg@redhat.com" target="_blank">ggarg@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">hi abhishek,<br>
<br>
i need to look further why are you falling in this situation. file name and uuid in /var/lib/glusterd/peers  should be same. each file in /var/lib/glusterd/peers having information about its peer in the cluster.<br>
<br>
could you join #gluster channel on freenode. just ping me (irc name:  ggarg) after joining the channel.<br>
<span class="im HOEnZb"><br>
Thanks,<br>
Gaurav<br>
<br>
<br>
----- Original Message -----<br>
From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
To: &quot;Gaurav Garg&quot; &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
</span><div class="HOEnZb"><div class="h5">Sent: Wednesday, February 24, 2016 12:31:51 PM<br>
Subject: Re: [Gluster-users] Issue in Adding/Removing the gluster node<br>
<br>
Hi Gaurav,<br>
<br>
I have noticed one more thing in etc-glusterfs-glusterd.vol.log file with<br>
respect to UUID of Peer &lt;10.32.1.144&gt;<br>
It has two UUID<br>
Before removing<br>
<br>
UUID is - b88c74b9-457d-4864-9fe6-403f6934d7d1 and after inserting the node<br>
UUID is - 5ec06937-5f85-4a9d-b29e-4227bbb7b4fa<br>
<br>
Also have one file in glusterd/peers/ directory with the same name of first<br>
UUID.<br>
<br>
What does this file mean in peers directory? is this file providing some<br>
kind of linking between both of the UUID?<br>
<br>
Please find this file as an attachment.<br>
<br>
Regards,<br>
Abhishek<br>
<br>
On Wed, Feb 24, 2016 at 12:06 PM, Gaurav Garg &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt; wrote:<br>
<br>
&gt; Hi abhishek,<br>
&gt;<br>
&gt; yes i looked into configuration file&#39;s that you have provided. there every<br>
&gt; things seems to be fine.<br>
&gt;<br>
&gt; seems like some other problem. i will look into it today and will come<br>
&gt; back to you.<br>
&gt;<br>
&gt; thanks,<br>
&gt;<br>
&gt; ~Gaurav<br>
&gt;<br>
&gt; ----- Original Message -----<br>
&gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; To: &quot;Gaurav Garg&quot; &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
&gt; Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
&gt; Sent: Wednesday, February 24, 2016 12:02:47 PM<br>
&gt; Subject: Re: [Gluster-users] Issue in Adding/Removing the gluster node<br>
&gt;<br>
&gt; Hi Gaurav,<br>
&gt;<br>
&gt; Have you get the time to see the logs files which you asked yesterday?<br>
&gt;<br>
&gt; Regards,<br>
&gt; Abhishek<br>
&gt;<br>
&gt; On Tue, Feb 23, 2016 at 3:05 PM, ABHISHEK PALIWAL &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a><br>
&gt; &gt;<br>
&gt; wrote:<br>
&gt;<br>
&gt; &gt; Hi Gaurav,<br>
&gt; &gt;<br>
&gt; &gt; Please find the vol.tar file.<br>
&gt; &gt;<br>
&gt; &gt; Regards,<br>
&gt; &gt; Abhishek<br>
&gt; &gt;<br>
&gt; &gt; On Tue, Feb 23, 2016 at 2:37 PM, Gaurav Garg &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt; wrote:<br>
&gt; &gt;<br>
&gt; &gt;&gt; Hi abhishek,<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; But after analyzing the following logs from the 1st board seems that<br>
&gt; &gt;&gt; the<br>
&gt; &gt;&gt; process which will update the second brick in output of &quot;# gluster<br>
&gt; volume<br>
&gt; &gt;&gt; status c_glusterfs&quot; takes sometime to update this table and before the<br>
&gt; &gt;&gt; updation of this table remove-brick is getting executed that is why it<br>
&gt; is<br>
&gt; &gt;&gt; getting failed.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; It should not take that much of time. If your peer probe is successful<br>
&gt; &gt;&gt; and you are able to<br>
&gt; &gt;&gt; see 2nd broad peer entry in #gluster peer status command then it have<br>
&gt; &gt;&gt; updated all information<br>
&gt; &gt;&gt; of volume internally.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; your gluster volume status showing 2nd board entry:<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Brick 10.32.0.48:/opt/lvmdir/c2/brick       49153     0          Y<br>
&gt; &gt;&gt; 2537<br>
&gt; &gt;&gt; Self-heal Daemon on localhost               N/A       N/A        Y<br>
&gt; &gt;&gt; 5577<br>
&gt; &gt;&gt; Self-heal Daemon on 10.32.1.144             N/A       N/A        Y<br>
&gt; &gt;&gt; 3850<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; but its not showing 2nd board brick entry.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Did you perform any manual operation with configuration file which<br>
&gt; &gt;&gt; resides in /var/lib/glusterd/* ?<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; could you attach/paste the file<br>
&gt; &gt;&gt; /var/lib/glusterd/vols/c_glusterfs/trusted-*.tcp-fuse.vol file.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Thanks,<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Regards,<br>
&gt; &gt;&gt; Gaurav<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; ----- Original Message -----<br>
&gt; &gt;&gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; To: &quot;Gaurav Garg&quot; &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
&gt; &gt;&gt; Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
&gt; &gt;&gt; Sent: Tuesday, February 23, 2016 1:33:30 PM<br>
&gt; &gt;&gt; Subject: Re: [Gluster-users] Issue in Adding/Removing the gluster node<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Hi Gaurav,<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; For the network connectivity I am doing peer probe to the 10.32.1.144<br>
&gt; i.e.<br>
&gt; &gt;&gt; 2nd board thats working fine means connectivity is there.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; #peer probe 10.32.1.144<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; if the above command get success<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; I executed the the remove-brick command which is getting failed.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; So,  now it seems the the peer probe will not give the correct<br>
&gt; &gt;&gt; connectivity<br>
&gt; &gt;&gt; status to execute the remove-brick command.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; But after analyzing the following logs from the 1st board seems that the<br>
&gt; &gt;&gt; process which will update the second brick in output of &quot;# gluster<br>
&gt; volume<br>
&gt; &gt;&gt; status c_glusterfs&quot; takes sometime to update this table and before the<br>
&gt; &gt;&gt; updation of this table remove-brick is getting executed that is why it<br>
&gt; is<br>
&gt; &gt;&gt; getting failed.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; *1st board:*<br>
&gt; &gt;&gt; # gluster volume info<br>
&gt; &gt;&gt; status<br>
&gt; &gt;&gt; gluster volume status c_glusterfs<br>
&gt; &gt;&gt; Volume Name: c_glusterfs<br>
&gt; &gt;&gt; Type: Replicate<br>
&gt; &gt;&gt; Volume ID: 32793e91-6f88-4f29-b3e4-0d53d02a4b99<br>
&gt; &gt;&gt; Status: Started<br>
&gt; &gt;&gt; Number of Bricks: 1 x 2 = 2<br>
&gt; &gt;&gt; Transport-type: tcp<br>
&gt; &gt;&gt; Bricks:<br>
&gt; &gt;&gt; Brick1: 10.32.0.48:/opt/lvmdir/c2/brick<br>
&gt; &gt;&gt; Brick2: 10.32.1.144:/opt/lvmdir/c2/brick<br>
&gt; &gt;&gt; Options Reconfigured:<br>
&gt; &gt;&gt; nfs.disable: on<br>
&gt; &gt;&gt; network.ping-timeout: 4<br>
&gt; &gt;&gt; performance.readdir-ahead: on<br>
&gt; &gt;&gt; # gluster peer status<br>
&gt; &gt;&gt; Number of Peers: 1<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Hostname: 10.32.1.144<br>
&gt; &gt;&gt; Uuid: b88c74b9-457d-4864-9fe6-403f6934d7d1<br>
&gt; &gt;&gt; State: Peer in Cluster (Connected)<br>
&gt; &gt;&gt; # gluster volume status c_glusterfs<br>
&gt; &gt;&gt; Status of volume: c_glusterfs<br>
&gt; &gt;&gt; Gluster process                             TCP Port  RDMA Port  Online<br>
&gt; &gt;&gt; Pid<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; ------------------------------------------------------------------------------<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Brick 10.32.0.48:/opt/lvmdir/c2/brick       49153     0          Y<br>
&gt; &gt;&gt; 2537<br>
&gt; &gt;&gt; Self-heal Daemon on localhost               N/A       N/A        Y<br>
&gt; &gt;&gt; 5577<br>
&gt; &gt;&gt; Self-heal Daemon on 10.32.1.144             N/A       N/A        Y<br>
&gt; &gt;&gt; 3850<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Task Status of Volume c_glusterfs<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; ------------------------------------------------------------------------------<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; There are no active volume tasks<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; +++++++++++++++++++++++++++++++++++++++++++++++<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; I&#39;ll try this with some delay or wait to remove-brick until the #<br>
&gt; gluster<br>
&gt; &gt;&gt; volume status c_glusterfs command show second brick in the list.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; May we this approach will resolve the issue.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Please comment, If you are agree with my observation<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Regards,<br>
&gt; &gt;&gt; Abhishek<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; On Tue, Feb 23, 2016 at 1:10 PM, ABHISHEK PALIWAL &lt;<br>
&gt; &gt;&gt; <a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; wrote:<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt; Hi Gaurav,<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; In my case we are removing the brick in the offline state with the<br>
&gt; force<br>
&gt; &gt;&gt; &gt; option like in the following way:<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; *gluster volume remove-brick %s replica 1 %s:%s force --mode=script*<br>
&gt; &gt;&gt; &gt; but still getting the failure or remove-brick<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; it seems that brick is not present which we are trying to remove here<br>
&gt; &gt;&gt; are<br>
&gt; &gt;&gt; &gt; the log snippet of both of the boards<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; *1st board:*<br>
&gt; &gt;&gt; &gt; # gluster volume info<br>
&gt; &gt;&gt; &gt; status<br>
&gt; &gt;&gt; &gt; gluster volume status c_glusterfs<br>
&gt; &gt;&gt; &gt; Volume Name: c_glusterfs<br>
&gt; &gt;&gt; &gt; Type: Replicate<br>
&gt; &gt;&gt; &gt; Volume ID: 32793e91-6f88-4f29-b3e4-0d53d02a4b99<br>
&gt; &gt;&gt; &gt; Status: Started<br>
&gt; &gt;&gt; &gt; Number of Bricks: 1 x 2 = 2<br>
&gt; &gt;&gt; &gt; Transport-type: tcp<br>
&gt; &gt;&gt; &gt; Bricks:<br>
&gt; &gt;&gt; &gt; Brick1: 10.32.0.48:/opt/lvmdir/c2/brick<br>
&gt; &gt;&gt; &gt; Brick2: 10.32.1.144:/opt/lvmdir/c2/brick<br>
&gt; &gt;&gt; &gt; Options Reconfigured:<br>
&gt; &gt;&gt; &gt; nfs.disable: on<br>
&gt; &gt;&gt; &gt; network.ping-timeout: 4<br>
&gt; &gt;&gt; &gt; performance.readdir-ahead: on<br>
&gt; &gt;&gt; &gt; # gluster peer status<br>
&gt; &gt;&gt; &gt; Number of Peers: 1<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Hostname: 10.32.1.144<br>
&gt; &gt;&gt; &gt; Uuid: b88c74b9-457d-4864-9fe6-403f6934d7d1<br>
&gt; &gt;&gt; &gt; State: Peer in Cluster (Connected)<br>
&gt; &gt;&gt; &gt; # gluster volume status c_glusterfs<br>
&gt; &gt;&gt; &gt; Status of volume: c_glusterfs<br>
&gt; &gt;&gt; &gt; Gluster process                             TCP Port  RDMA Port<br>
&gt; Online<br>
&gt; &gt;&gt; &gt; Pid<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt;<br>
&gt; ------------------------------------------------------------------------------<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Brick 10.32.0.48:/opt/lvmdir/c2/brick       49153     0          Y<br>
&gt; &gt;&gt; &gt; 2537<br>
&gt; &gt;&gt; &gt; Self-heal Daemon on localhost               N/A       N/A        Y<br>
&gt; &gt;&gt; &gt; 5577<br>
&gt; &gt;&gt; &gt; Self-heal Daemon on 10.32.1.144             N/A       N/A        Y<br>
&gt; &gt;&gt; &gt; 3850<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Task Status of Volume c_glusterfs<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt;<br>
&gt; ------------------------------------------------------------------------------<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; There are no active volume tasks<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; *2nd Board*:<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; # gluster volume info<br>
&gt; &gt;&gt; &gt; status<br>
&gt; &gt;&gt; &gt; gluster volume status c_glusterfs<br>
&gt; &gt;&gt; &gt; gluster volume heal c_glusterfs info<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Volume Name: c_glusterfs<br>
&gt; &gt;&gt; &gt; Type: Replicate<br>
&gt; &gt;&gt; &gt; Volume ID: 32793e91-6f88-4f29-b3e4-0d53d02a4b99<br>
&gt; &gt;&gt; &gt; Status: Started<br>
&gt; &gt;&gt; &gt; Number of Bricks: 1 x 2 = 2<br>
&gt; &gt;&gt; &gt; Transport-type: tcp<br>
&gt; &gt;&gt; &gt; Bricks:<br>
&gt; &gt;&gt; &gt; Brick1: 10.32.0.48:/opt/lvmdir/c2/brick<br>
&gt; &gt;&gt; &gt; Brick2: 10.32.1.144:/opt/lvmdir/c2/brick<br>
&gt; &gt;&gt; &gt; Options Reconfigured:<br>
&gt; &gt;&gt; &gt; performance.readdir-ahead: on<br>
&gt; &gt;&gt; &gt; network.ping-timeout: 4<br>
&gt; &gt;&gt; &gt; nfs.disable: on<br>
&gt; &gt;&gt; &gt; # gluster peer status<br>
&gt; &gt;&gt; &gt; Number of Peers: 1<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Hostname: 10.32.0.48<br>
&gt; &gt;&gt; &gt; Uuid: e7c4494e-aa04-4909-81c9-27a462f6f9e7<br>
&gt; &gt;&gt; &gt; State: Peer in Cluster (Connected)<br>
&gt; &gt;&gt; &gt; # gluster volume status c_glusterfs<br>
&gt; &gt;&gt; &gt; Status of volume: c_glusterfs<br>
&gt; &gt;&gt; &gt; Gluster process                             TCP Port  RDMA Port<br>
&gt; Online<br>
&gt; &gt;&gt; &gt; Pid<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt;<br>
&gt; ------------------------------------------------------------------------------<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Brick 10.32.0.48:/opt/lvmdir/c2/brick       49153     0          Y<br>
&gt; &gt;&gt; &gt; 2537<br>
&gt; &gt;&gt; &gt; Self-heal Daemon on localhost               N/A       N/A        Y<br>
&gt; &gt;&gt; &gt; 3850<br>
&gt; &gt;&gt; &gt; Self-heal Daemon on 10.32.0.48              N/A       N/A        Y<br>
&gt; &gt;&gt; &gt; 5577<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Task Status of Volume c_glusterfs<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt;<br>
&gt; ------------------------------------------------------------------------------<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; There are no active volume tasks<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Do you know why these logs are not showing the Brick info at the time<br>
&gt; of<br>
&gt; &gt;&gt; &gt; gluster volume status.<br>
&gt; &gt;&gt; &gt; Because we are not able to collect the logs of cmd_history.log file<br>
&gt; from<br>
&gt; &gt;&gt; &gt; the 2nd board.<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Regards,<br>
&gt; &gt;&gt; &gt; Abhishek<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; On Tue, Feb 23, 2016 at 12:02 PM, Gaurav Garg &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
&gt; wrote:<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; Hi abhishek,<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;&gt; Can we perform remove-brick operation on the offline brick? what<br>
&gt; is<br>
&gt; &gt;&gt; the<br>
&gt; &gt;&gt; &gt;&gt; meaning of offline and online brick?<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; No, you can&#39;t perform remove-brick operation on the offline brick.<br>
&gt; &gt;&gt; brick<br>
&gt; &gt;&gt; &gt;&gt; is offline means brick process is not running. you can see it by<br>
&gt; &gt;&gt; executing<br>
&gt; &gt;&gt; &gt;&gt; #gluster volume status. If brick is offline then respective brick<br>
&gt; will<br>
&gt; &gt;&gt; show<br>
&gt; &gt;&gt; &gt;&gt; &quot;N&quot; entry in Online column of #gluster volume status command.<br>
&gt; &gt;&gt; Alternatively<br>
&gt; &gt;&gt; &gt;&gt; you can also check whether glusterfsd process for that brick is<br>
&gt; &gt;&gt; running or<br>
&gt; &gt;&gt; &gt;&gt; not by executing #ps aux | grep glusterfsd, this command will list<br>
&gt; out<br>
&gt; &gt;&gt; all<br>
&gt; &gt;&gt; &gt;&gt; the brick process you can filter out from them, which one is online,<br>
&gt; &gt;&gt; which<br>
&gt; &gt;&gt; &gt;&gt; one is not.<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; But if you want to perform remove-brick operation on the offline<br>
&gt; brick<br>
&gt; &gt;&gt; &gt;&gt; then you need to execute it with force option. #gluster volume<br>
&gt; &gt;&gt; remove-brick<br>
&gt; &gt;&gt; &gt;&gt; &lt;volname&gt; hostname:/brick_name force. This might lead to data loss.<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;&gt; Also, Is there any logic in gluster through which we can check the<br>
&gt; &gt;&gt; &gt;&gt; connectivity of node established or not before performing the any<br>
&gt; &gt;&gt; &gt;&gt; operation<br>
&gt; &gt;&gt; &gt;&gt; on brick?<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; Yes, you can check it by executing #gluster peer status command.<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; Thanks,<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; ~Gaurav<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt;&gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; To: &quot;Gaurav Garg&quot; &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
&gt; &gt;&gt; &gt;&gt; Sent: Tuesday, February 23, 2016 11:50:43 AM<br>
&gt; &gt;&gt; &gt;&gt; Subject: Re: [Gluster-users] Issue in Adding/Removing the gluster<br>
&gt; node<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; Hi Gaurav,<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; one general question related to gluster bricks.<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; Can we perform remove-brick operation on the offline brick? what is<br>
&gt; the<br>
&gt; &gt;&gt; &gt;&gt; meaning of offline and online brick?<br>
&gt; &gt;&gt; &gt;&gt; Also, Is there any logic in gluster through which we can check the<br>
&gt; &gt;&gt; &gt;&gt; connectivity of node established or not before performing the any<br>
&gt; &gt;&gt; &gt;&gt; operation<br>
&gt; &gt;&gt; &gt;&gt; on brick?<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; Regards,<br>
&gt; &gt;&gt; &gt;&gt; Abhishek<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; On Mon, Feb 22, 2016 at 2:42 PM, Gaurav Garg &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
&gt; wrote:<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; Hi abhishek,<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; I went through your logs of node 1 and by looking glusterd logs its<br>
&gt; &gt;&gt; &gt;&gt; &gt; clearly indicate that your 2nd node (10.32.1.144) have disconnected<br>
&gt; &gt;&gt; from<br>
&gt; &gt;&gt; &gt;&gt; &gt; the cluster, because of that remove-brick operation failed. I think<br>
&gt; &gt;&gt; you<br>
&gt; &gt;&gt; &gt;&gt; &gt; need to check your network interface.<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; But surprising things is that i did not see duplicate peer entry in<br>
&gt; &gt;&gt; &gt;&gt; &gt; #gluster peer status command output.<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; May be i will get some more information from your (10.32.1.144) 2nd<br>
&gt; &gt;&gt; node<br>
&gt; &gt;&gt; &gt;&gt; &gt; logs. Could you also attach your 2nd node logs.<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; after restarting glusterd, are you seeing duplicate peer entry in<br>
&gt; &gt;&gt; &gt;&gt; #gluster<br>
&gt; &gt;&gt; &gt;&gt; &gt; peer status command output ?<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; will wait for 2nd node logs for further analyzing duplicate peer<br>
&gt; &gt;&gt; entry<br>
&gt; &gt;&gt; &gt;&gt; &gt; problem.<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; Thanks,<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; ~Gaurav<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt;&gt; &gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; To: &quot;Gaurav Garg&quot; &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
&gt; &gt;&gt; &gt;&gt; &gt; Sent: Monday, February 22, 2016 12:48:55 PM<br>
&gt; &gt;&gt; &gt;&gt; &gt; Subject: Re: [Gluster-users] Issue in Adding/Removing the gluster<br>
&gt; &gt;&gt; node<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; Hi Gaurav,<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; Here, You can find the attached logs for the boards in case of<br>
&gt; &gt;&gt; &gt;&gt; remove-brick<br>
&gt; &gt;&gt; &gt;&gt; &gt; failure.<br>
&gt; &gt;&gt; &gt;&gt; &gt; In these logs we do not have the cmd_history and<br>
&gt; &gt;&gt; &gt;&gt; &gt; etc-glusterfs-glusterd.vol.log for the second board.<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; May be for that we need to some more time.<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; Regards,<br>
&gt; &gt;&gt; &gt;&gt; &gt; Abhishek<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; On Mon, Feb 22, 2016 at 10:18 AM, Gaurav Garg &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
&gt; &gt;&gt; wrote:<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; Hi Abhishek,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;&gt;  I&#39;ll provide the required log to you.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; sure<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; on both node. do &quot;pkill glusterd&quot; and then start glusterd<br>
&gt; services.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; Thanks,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; ~Gaurav<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; To: &quot;Gaurav Garg&quot; &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; Sent: Monday, February 22, 2016 10:11:48 AM<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; Subject: Re: [Gluster-users] Issue in Adding/Removing the gluster<br>
&gt; &gt;&gt; node<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; Hi Gaurav,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; Thanks for your prompt reply.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; I&#39;ll provide the required log to you.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; As a workaround you suggested that restart the glusterd service.<br>
&gt; &gt;&gt; Could<br>
&gt; &gt;&gt; &gt;&gt; &gt; you<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; please tell me the point where I can do this?<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; Regards,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; Abhishek<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; On Fri, Feb 19, 2016 at 6:11 PM, Gaurav Garg &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; wrote:<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Hi Abhishek,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Peer status output looks interesting where it have stale entry,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; technically it should not happen. Here few thing need to ask<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Did you perform any manual operation with GlusterFS<br>
&gt; configuration<br>
&gt; &gt;&gt; &gt;&gt; file<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; which resides in /var/lib/glusterd/* folder.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Can you provide output of &quot;ls /var/lib/glusterd/peers&quot;  from<br>
&gt; &gt;&gt; both of<br>
&gt; &gt;&gt; &gt;&gt; &gt; your<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; nodes.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Could you provide output of #gluster peer status command when<br>
&gt; 2nd<br>
&gt; &gt;&gt; &gt;&gt; node<br>
&gt; &gt;&gt; &gt;&gt; &gt; is<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; down<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Can you provide output of #gluster volume info command<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Can you provide full logs details of cmd_history.log and<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; etc-glusterfs-glusterd.vol.log from both the nodes.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; You can restart your glusterd as of now as a workaround but we<br>
&gt; &gt;&gt; need<br>
&gt; &gt;&gt; &gt;&gt; to<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; analysis this issue further.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Thanks,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Gaurav<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; To: &quot;Gaurav Garg&quot; &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Sent: Friday, February 19, 2016 5:27:21 PM<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Subject: Re: [Gluster-users] Issue in Adding/Removing the<br>
&gt; gluster<br>
&gt; &gt;&gt; &gt;&gt; node<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Hi Gaurav,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; After the failure of add-brick following is outcome &quot;gluster<br>
&gt; peer<br>
&gt; &gt;&gt; &gt;&gt; &gt; status&quot;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; command<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Number of Peers: 2<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Hostname: 10.32.1.144<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Uuid: bbe2a458-ad3d-406d-b233-b6027c12174e<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; State: Peer in Cluster (Connected)<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Hostname: 10.32.1.144<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Uuid: bbe2a458-ad3d-406d-b233-b6027c12174e<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; State: Peer in Cluster (Connected)<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Regards,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Abhishek<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; On Fri, Feb 19, 2016 at 5:21 PM, ABHISHEK PALIWAL &lt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; <a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a><br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; wrote:<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; Hi Gaurav,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; Both are the board connect through the backplane using<br>
&gt; &gt;&gt; ethernet.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; Even this inconsistency also occurs when I am trying to<br>
&gt; &gt;&gt; bringing<br>
&gt; &gt;&gt; &gt;&gt; back<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; the<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; node in slot. Means some time add-brick executes without<br>
&gt; &gt;&gt; failure<br>
&gt; &gt;&gt; &gt;&gt; but<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; some<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; time following error occurs.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; volume add-brick c_glusterfs replica 2 <a href="http://10.32.1.144" rel="noreferrer" target="_blank">10.32.1.144</a>:<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; /opt/lvmdir/c2/brick<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; force : FAILED : Another transaction is in progress for<br>
&gt; &gt;&gt; &gt;&gt; c_glusterfs.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Please<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; try again after sometime.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; You can also see the attached logs for add-brick failure<br>
&gt; &gt;&gt; scenario.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; Please let me know if you need more logs.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; Regards,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; Abhishek<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt; On Fri, Feb 19, 2016 at 5:03 PM, Gaurav Garg &lt;<br>
&gt; <a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a><br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; wrote:<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; Hi Abhishek,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; How are you connecting two board, and how are you removing<br>
&gt; it<br>
&gt; &gt;&gt; &gt;&gt; &gt; manually<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; that need to know because if you are removing your 2nd board<br>
&gt; &gt;&gt; from<br>
&gt; &gt;&gt; &gt;&gt; &gt; the<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; cluster (abrupt shutdown) then you can&#39;t perform remove<br>
&gt; brick<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; operation<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; in<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; 2nd node from first node and its happening successfully in<br>
&gt; &gt;&gt; your<br>
&gt; &gt;&gt; &gt;&gt; &gt; case.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; could<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; you ensure your network connection once again while removing<br>
&gt; &gt;&gt; and<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; bringing<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; back your node again.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; Thanks,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; Gaurav<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; ------------------------------<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; *From: *&quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; *To: *&quot;Gaurav Garg&quot; &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; *Cc: *<a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; *Sent: *Friday, February 19, 2016 3:36:21 PM<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; *Subject: *Re: [Gluster-users] Issue in Adding/Removing the<br>
&gt; &gt;&gt; &gt;&gt; gluster<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; node<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; Hi Gaurav,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; Thanks for reply<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; 1. Here, I removed the board manually here but this time it<br>
&gt; &gt;&gt; works<br>
&gt; &gt;&gt; &gt;&gt; &gt; fine<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; [2016-02-18 10:03:40.601472]  : volume remove-brick<br>
&gt; &gt;&gt; c_glusterfs<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; replica<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; 1<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; 10.32.1.144:/opt/lvmdir/c2/brick force : SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; [2016-02-18 10:03:40.885973]  : peer detach 10.32.1.144 :<br>
&gt; &gt;&gt; SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; Yes this time board is reachable but how? don&#39;t know because<br>
&gt; &gt;&gt; &gt;&gt; board<br>
&gt; &gt;&gt; &gt;&gt; &gt; is<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; detached.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; 2. Here, I attached the board this time its works fine in<br>
&gt; &gt;&gt; &gt;&gt; add-bricks<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; 2016-02-18 10:03:42.065038]  : peer probe 10.32.1.144 :<br>
&gt; &gt;&gt; SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; [2016-02-18 10:03:44.563546]  : volume add-brick c_glusterfs<br>
&gt; &gt;&gt; &gt;&gt; &gt; replica 2<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; 10.32.1.144:/opt/lvmdir/c2/brick force : SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; 3.Here, again I removed the board this time failed occur<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; [2016-02-18 10:37:02.816089]  : volume remove-brick<br>
&gt; &gt;&gt; c_glusterfs<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; replica<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; 1<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; 10.32.1.144:/opt/lvmdir/c2/brick force : FAILED : Incorrect<br>
&gt; &gt;&gt; &gt;&gt; brick<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; 10.32.1.144:/opt<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; /lvmdir/c2/brick for volume c_glusterfs<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; but here board is not reachable.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; why this inconsistency is there while doing the same step<br>
&gt; &gt;&gt; &gt;&gt; multiple<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; time.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; Hope you are getting my point.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; Regards,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; Abhishek<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; On Fri, Feb 19, 2016 at 3:25 PM, Gaurav Garg &lt;<br>
&gt; &gt;&gt; <a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; wrote:<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; Abhishek,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; when sometime its working fine means 2nd board network<br>
&gt; &gt;&gt; &gt;&gt; connection<br>
&gt; &gt;&gt; &gt;&gt; &gt; is<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; reachable to first node. you can conform this by executing<br>
&gt; &gt;&gt; same<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; #gluster<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; peer status command.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; Thanks,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; Gaurav<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; To: &quot;Gaurav Garg&quot; &lt;<a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; Sent: Friday, February 19, 2016 3:12:22 PM<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; Subject: Re: [Gluster-users] Issue in Adding/Removing the<br>
&gt; &gt;&gt; &gt;&gt; gluster<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; node<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; Hi Gaurav,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; Yes, you are right actually I am force fully detaching the<br>
&gt; &gt;&gt; node<br>
&gt; &gt;&gt; &gt;&gt; &gt; from<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; the<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; slave and when we removed the board it disconnected from<br>
&gt; the<br>
&gt; &gt;&gt; &gt;&gt; &gt; another<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; board.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; but my question is I am doing this process multiple time<br>
&gt; some<br>
&gt; &gt;&gt; &gt;&gt; time<br>
&gt; &gt;&gt; &gt;&gt; &gt; it<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; works<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; fine but some time it gave these errors.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; you can see the following logs from cmd_history.log file<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; [2016-02-18 10:03:34.497996]  : volume set c_glusterfs<br>
&gt; &gt;&gt; &gt;&gt; nfs.disable<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; on :<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; [2016-02-18 10:03:34.915036]  : volume start c_glusterfs<br>
&gt; &gt;&gt; force :<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; [2016-02-18 10:03:40.250326]  : volume status : SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; [2016-02-18 10:03:40.273275]  : volume status : SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; [2016-02-18 10:03:40.601472]  : volume remove-brick<br>
&gt; &gt;&gt; c_glusterfs<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; replica 1<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; 10.32.1.144:/opt/lvmdir/c2/brick force : SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; [2016-02-18 10:03:40.885973]  : peer detach 10.32.1.144 :<br>
&gt; &gt;&gt; &gt;&gt; SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; [2016-02-18 10:03:42.065038]  : peer probe 10.32.1.144 :<br>
&gt; &gt;&gt; SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; [2016-02-18 10:03:44.563546]  : volume add-brick<br>
&gt; c_glusterfs<br>
&gt; &gt;&gt; &gt;&gt; &gt; replica<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; 2<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; 10.32.1.144:/opt/lvmdir/c2/brick force : SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; [2016-02-18 10:30:53.297415]  : volume status : SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; [2016-02-18 10:30:53.313096]  : volume status : SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; [2016-02-18 10:37:02.748714]  : volume status : SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; [2016-02-18 10:37:02.762091]  : volume status : SUCCESS<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; [2016-02-18 10:37:02.816089]  : volume remove-brick<br>
&gt; &gt;&gt; c_glusterfs<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; replica 1<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; 10.32.1.144:/opt/lvmdir/c2/brick force : FAILED :<br>
&gt; Incorrect<br>
&gt; &gt;&gt; &gt;&gt; brick<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; 10.32.1.144:/opt/lvmdir/c2/brick for volume c_glusterfs<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; On Fri, Feb 19, 2016 at 3:05 PM, Gaurav Garg &lt;<br>
&gt; &gt;&gt; <a href="mailto:ggarg@redhat.com">ggarg@redhat.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; wrote:<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; Hi Abhishek,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; Seems your peer 10.32.1.144 have disconnected while doing<br>
&gt; &gt;&gt; &gt;&gt; remove<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; brick.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; see the below logs in glusterd:<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; [2016-02-18 10:37:02.816009] E [MSGID: 106256]<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; [glusterd-brick-ops.c:1047:__glusterd_handle_remove_brick]<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; 0-management:<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; Incorrect brick 10.32.1.144:/opt/lvmdir/c2/brick for<br>
&gt; &gt;&gt; volume<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; c_glusterfs<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; [Invalid argument]<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; [2016-02-18 10:37:02.816061] E [MSGID: 106265]<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; [glusterd-brick-ops.c:1088:__glusterd_handle_remove_brick]<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; 0-management:<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; Incorrect brick 10.32.1.144:/opt/lvmdir/c2/brick for<br>
&gt; &gt;&gt; volume<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; c_glusterfs<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; The message &quot;I [MSGID: 106004]<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; [glusterd-handler.c:5065:__glusterd_peer_rpc_notify]<br>
&gt; &gt;&gt; &gt;&gt; &gt; 0-management:<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Peer<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; &lt;10.32.1.144&gt; (&lt;6adf57dc-c619-4e56-ae40-90e6aef75fe9&gt;),<br>
&gt; in<br>
&gt; &gt;&gt; &gt;&gt; state<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &lt;Peer<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; in<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; Cluster&gt;, has disconnected from glusterd.&quot; repeated 25<br>
&gt; &gt;&gt; times<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; between<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; [2016-02-18 10:35:43.131945] and [2016-02-18<br>
&gt; &gt;&gt; 10:36:58.160458]<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; If you are facing the same issue now, could you paste<br>
&gt; your<br>
&gt; &gt;&gt; #<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; gluster<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; peer<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; status     command output here.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; Thanks,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; ~Gaurav<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; ----- Original Message -----<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; From: &quot;ABHISHEK PALIWAL&quot; &lt;<a href="mailto:abhishpaliwal@gmail.com">abhishpaliwal@gmail.com</a>&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; To: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; Sent: Friday, February 19, 2016 2:46:35 PM<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; Subject: [Gluster-users] Issue in Adding/Removing the<br>
&gt; &gt;&gt; gluster<br>
&gt; &gt;&gt; &gt;&gt; &gt; node<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; Hi,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; I am working on two board setup connecting to each other.<br>
&gt; &gt;&gt; &gt;&gt; Gluster<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; version<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; 3.7.6 is running and added two bricks in replica 2 mode<br>
&gt; but<br>
&gt; &gt;&gt; &gt;&gt; when<br>
&gt; &gt;&gt; &gt;&gt; &gt; I<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; manually<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; removed (detach) the one board from the setup I am<br>
&gt; getting<br>
&gt; &gt;&gt; the<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; following<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; error.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; volume remove-brick c_glusterfs replica 1 <a href="http://10.32.1.144" rel="noreferrer" target="_blank">10.32.1.144</a>:<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; /opt/lvmdir/c2/brick<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; force : FAILED : Incorrect brick <a href="http://10.32.1.144" rel="noreferrer" target="_blank">10.32.1.144</a>:<br>
&gt; &gt;&gt; &gt;&gt; &gt; /opt/lvmdir/c2/brick<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; for<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; volume c_glusterfs<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; Please find the logs file as an attachment.<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; Regards,<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; Abhishek<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; _______________________________________________<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; Gluster-users mailing list<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt; <a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; --<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; Regards<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; Abhishek Paliwal<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; --<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; Regards<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt; Abhishek Paliwal<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; --<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Regards<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt; Abhishek Paliwal<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; --<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt; &gt; Regards<br>
&gt; &gt;&gt; &gt;&gt; &gt; Abhishek Paliwal<br>
&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; --<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;&gt; Regards<br>
&gt; &gt;&gt; &gt;&gt; Abhishek Paliwal<br>
&gt; &gt;&gt; &gt;&gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; --<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt; &gt; Regards<br>
&gt; &gt;&gt; &gt; Abhishek Paliwal<br>
&gt; &gt;&gt; &gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; --<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Regards<br>
&gt; &gt;&gt; Abhishek Paliwal<br>
&gt; &gt;&gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; --<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; Regards<br>
&gt; &gt; Abhishek Paliwal<br>
&gt; &gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; Regards<br>
&gt; Abhishek Paliwal<br>
&gt;<br>
<br>
<br>
<br>
--<br>
<br>
<br>
<br>
<br>
Regards<br>
Abhishek Paliwal<br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><div dir="ltr"><br><br><br><br>Regards<br>
Abhishek Paliwal<br>
</div></div>
</div>