<div style="line-height:1.7;color:#000000;font-size:14px;font-family:Arial"><div>Hi,</div><div>Thank you for your immediate and detailed reply.And I have a few more question about glusterfs.&nbsp;</div><div>A node IP is&nbsp;<span style="line-height: 23.8px;">128.224.162.163.</span></div><div><span style="line-height: 23.8px;">B node IP is&nbsp;</span><span style="line-height: 23.8px;">128.224.162.250.</span></div><div>1.After reboot B<span style="line-height: 1.7;">&nbsp;node and start the glusterd service the glusterd log is as blow.</span></div><div>...</div><div>[2015-12-07 07:54:55.743966] I [MSGID: 101190] [event-epoll.c:632:event_dispatch_epoll_worker] 0-epoll: Started thread with index 2</div><div>[2015-12-07 07:54:55.744026] I [MSGID: 101190] [event-epoll.c:632:event_dispatch_epoll_worker] 0-epoll: Started thread with index 1</div><div>[2015-12-07 07:54:55.744280] I [MSGID: 106163] [glusterd-handshake.c:1193:__glusterd_mgmt_hndsk_versions_ack] 0-management: using the op-version 30706</div><div>[2015-12-07 07:54:55.773606] I [MSGID: 106490] [glusterd-handler.c:2539:__glusterd_handle_incoming_friend_req] 0-glusterd: Received probe from uuid: b6efd8fc-5eab-49d4-a537-2750de644a44</div><div>[2015-12-07 07:54:55.777994] E [MSGID: 101076] [common-utils.c:2954:gf_get_hostname_from_ip] 0-common-utils: Could not lookup hostname of 128.224.162.163 : Temporary failure in name resolution</div><div>[2015-12-07 07:54:55.778290] E [MSGID: 106010] [glusterd-utils.c:2717:glusterd_compare_friend_volume] 0-management: Version of Cksums gv0 differ. local cksum = 2492237955, remote cksum = 4087388312 on peer 128.224.162.163</div><div>[2015-12-07 07:54:55.778384] I [MSGID: 106493] [glusterd-handler.c:3780:glusterd_xfer_friend_add_resp] 0-glusterd: Responded to 128.224.162.163 (0), ret: 0</div><div>[2015-12-07 07:54:55.928774] I [MSGID: 106493] [glusterd-rpc-ops.c:480:__glusterd_friend_add_cbk] 0-glusterd: Received RJT from uuid: b6efd8fc-5eab-49d4-a537-2750de644a44, host: 128.224.162.163, port: 0</div><div>...</div><div>When I run gluster peer status on B node it show as below.</div><div><div>Number of Peers: 1</div><div><br></div><div>Hostname: 128.224.162.163</div><div>Uuid: b6efd8fc-5eab-49d4-a537-2750de644a44</div><div>State: Peer Rejected (Connected)</div></div><div><br></div><div>When I run "gluster volume status" on A node &nbsp;it show as below.</div><div>&nbsp;</div><div>Status of volume: gv0</div><div>Gluster process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; TCP Port &nbsp;RDMA Port &nbsp;Online &nbsp;Pid</div><div>------------------------------------------------------------------------------</div><div>Brick 128.224.162.163:/home/wrsadmin/work/t</div><div>mp/data/brick/gv0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 49152 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 13019</div><div>NFS Server on localhost &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; &nbsp;N &nbsp; &nbsp; &nbsp; N/A &nbsp;</div><div>Self-heal Daemon on localhost &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 13045</div><div>&nbsp;</div><div>Task Status of Volume gv0</div><div>------------------------------------------------------------------------------</div><div>There are no active volume tasks</div><div><br></div><div>It looks like the glusterfsd service is ok on A node.</div><div><br></div><div>If because the peer state is&nbsp;<span style="line-height: 23.8px;">Rejected so gluterd didn't start the glusterfsd?What causes this problem£¿</span></div><div><br></div><div><br></div><div style="line-height: 23.8px;">2. Is glustershd(self-heal-daemon) the process as below?</div><div>root &nbsp; &nbsp; &nbsp; 497 &nbsp;0.8 &nbsp;0.0 432520 18104 ? &nbsp; &nbsp; &nbsp; &nbsp;Ssl &nbsp;08:07 &nbsp; 0:00 /usr/sbin/glusterfs -s localhost --volfile-id gluster/glustershd -p /var/lib/glusterd/glustershd/run/gluster ..</div><div><br></div><div>If it is£¬ I want to know if the&nbsp;<span style="line-height: 23.8px;">glustershd is also the bin glusterfsd£¬ just like glusterd and glusterfs.</span></div><div style="position:relative;zoom:1"></div><div id="divNeteaseMailCard"></div><br><pre><div>Thanks,</div><div>Xin</div><div><br></div><div><br></div>At 2016-02-16 18:53:03, "Anuradha Talur" &lt;atalur@redhat.com&gt; wrote:
&gt;
&gt;
&gt;----- Original Message -----
&gt;&gt; From: "songxin" &lt;songxin_1980@126.com&gt;
&gt;&gt; To: gluster-users@gluster.org
&gt;&gt; Sent: Tuesday, February 16, 2016 3:59:50 PM
&gt;&gt; Subject: [Gluster-users] question about sync replicate volume after        rebooting one node
&gt;&gt; 
&gt;&gt; Hi,
&gt;&gt; I have a question about how to sync volume between two bricks after one node
&gt;&gt; is reboot.
&gt;&gt; 
&gt;&gt; There are two node, A node and B node.A node ip is 128.124.10.1 and B node ip
&gt;&gt; is 128.124.10.2.
&gt;&gt; 
&gt;&gt; operation steps on A node as below
&gt;&gt; 1. gluster peer probe 128.124.10.2
&gt;&gt; 2. mkdir -p /data/brick/gv0
&gt;&gt; 3.gluster volume create gv0 replica 2 128.124.10.1 :/data/brick/gv0
&gt;&gt; 128.124.10.2 :/data/brick/gv1 force
&gt;&gt; 4. gluster volume start gv0
&gt;&gt; 5.mount -t glusterfs 128.124.10.1 :/gv0 gluster
&gt;&gt; 
&gt;&gt; operation steps on B node as below
&gt;&gt; 1 . mkdir -p /data/brick/gv0
&gt;&gt; 2.mount -t glusterfs 128.124.10.1 :/gv0 gluster
&gt;&gt; 
&gt;&gt; After all steps above , there a some gluster service process, including
&gt;&gt; glusterd, glusterfs and glusterfsd, running on both A and B node.
&gt;&gt; I can see these servic by command ps aux | grep gluster and command gluster
&gt;&gt; volume status.
&gt;&gt; 
&gt;&gt; Now reboot the B node.After B reboot , there are no gluster service running
&gt;&gt; on B node.
&gt;&gt; After I systemctl start glusterd , there is just glusterd service but not
&gt;&gt; glusterfs and glusterfsd on B node.
&gt;&gt; Because glusterfs and glusterfsd are not running so I can't gluster volume
&gt;&gt; heal gv0 full.
&gt;&gt; 
&gt;&gt; I want to know why glusterd don't start glusterfs and glusterfsd.
&gt;
&gt;On starting glusterd, glusterfsd should have started by itself.
&gt;Could you share glusterd and brick log (on node B) so that we know why glusterfsd
&gt;didn't start?
&gt;
&gt;Do you still see glusterfsd service running on node A? You can try running "gluster v start &lt;VOLNAME&gt; force"
&gt;on one of the nodes and check if all the brick processes started.
&gt;
&gt;gluster volume status &lt;VOLNAME&gt; should be able to provide you with gluster process status.
&gt;
&gt;On restarting the node, glusterfs process for mount won't start by itself. You will have to run
&gt;step 2 on node B again for it.
&gt;
&gt;&gt; How do I restart these services on B node?
&gt;&gt; How do I sync the replicate volume after one node reboot?
&gt;
&gt;Once the glusterfsd process starts on node B too, glustershd -- self-heal-daemon -- for replicate volume
&gt;should start healing/syncing files that need to be synced. This deamon does periodic syncing of files.
&gt;
&gt;If you want to trigger a heal explicitly, you can run gluster volume heal &lt;VOLNAME&gt; on one of the servers.
&gt;&gt; 
&gt;&gt; Thanks,
&gt;&gt; Xin
&gt;&gt; 
&gt;&gt; 
&gt;&gt; 
&gt;&gt; 
&gt;&gt; 
&gt;&gt; 
&gt;&gt; 
&gt;&gt; 
&gt;&gt; 
&gt;&gt; 
&gt;&gt; 
&gt;&gt; 
&gt;&gt; 
&gt;&gt; 
&gt;&gt; 
&gt;&gt; 
&gt;&gt; _______________________________________________
&gt;&gt; Gluster-users mailing list
&gt;&gt; Gluster-users@gluster.org
&gt;&gt; http://www.gluster.org/mailman/listinfo/gluster-users
&gt;
&gt;-- 
&gt;Thanks,
&gt;Anuradha.
</pre></div><br><br><span title="neteasefooter"><p>&nbsp;</p></span>