<div style="line-height:1.7;color:#000000;font-size:14px;font-family:Arial"><div style="line-height: 1.7;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Hi,&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">I use glusterfs (<b>version 3.7.6</b>) in replicate mode for sync between two boards in a node.</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">When one of the board is locked and replaced with new board and restarted we see that sync is lost between the two boards.The mounted glusterfs volume is not present on the replaced board.&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Output of some of gluster commands on the replaced board are as below.</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">002500&gt; gluster volume status c_glusterfs&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Status of volume: c_glusterfs&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Gluster process TCP Port RDMA Port Online Pid&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">------------------------------------------------------------------------------&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Brick 192.32.0.48:/opt/lvmdir/c2/brick 49240 0 Y 1293&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Task Status of Volume c_glusterfs&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">------------------------------------------------------------------------------&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">There are no active volume tasks&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br><br><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">002500&gt; gluster volume info&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Volume Name: c_glusterfs&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Type: Distribute&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Volume ID: 3625f7ff-2b92-4ac4-9967-7abf966eceef&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Status: Started&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Number of Bricks: 1&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Transport-type: tcp&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Bricks:&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Brick1: 192.32.0.48:/opt/lvmdir/c2/brick&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Options Reconfigured:&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">performance.readdir-ahead: on&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">network.ping-timeout: 4&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">nfs.disable: on&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br><br><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">In status info , we don't see the gluster process of the replaced board. The gluster process Brick 192.32.0.48:/opt/lvmdir/c2/brick is of the other board which is not replaced ,&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Output of the commands on the other board are :&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"># gluster volume info&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Volume Name: c_glusterfs&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Type: Distribute&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Volume ID: 3625f7ff-2b92-4ac4-9967-7abf966eceef&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Status: Started&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Number of Bricks: 1&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Transport-type: tcp&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Bricks:&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Brick1: 192.32.0.48:/opt/lvmdir/c2/brick&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Options Reconfigured:&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">performance.readdir-ahead: on&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">network.ping-timeout: 4&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">nfs.disable: on&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"># gluster peer status&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Number of Peers: 2&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Hostname: 192.32.1.144&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Uuid: bbe2a458-ad3d-406d-b233-b6027c12174e&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">State: Peer in Cluster (Connected)&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Hostname: 192.32.1.144&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Uuid: bbe2a458-ad3d-406d-b233-b6027c12174e&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">State: Peer in Cluster (Connected)&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">gluster peer status shows the same host twice , the gluster process of same is missing in the volume info, Also , the command gluster volume status c_glusterfs hangs&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">From the logs of gluster at /var/log/glusterfs , we observed some errors&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">cmd_history.log :&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">volume add-brick c_glusterfs replica 2 192.32.1.144:/opt/lvmdir/c2/brick force : FAILED : Locking failed on 192.32.1.144. Please check log file for details.&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">cli.log:&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">[2016-01-30 04:32:40.179381] I [cli.c:721:main] 0-cli: Started running gluster with version 3.7.6&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">[2016-01-30 04:32:40.191715] I [MSGID: 101190] [event-epoll.c:632:event_dispatch_epoll_worker] 0-epoll: Started thread with index 1&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">[2016-01-30 04:32:40.193246] I [socket.c:2355:socket_event_handler] 0-transport: disconnecting now&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">[2016-01-30 04:32:40.196551] I [cli-rpc-ops.c:2465:gf_cli_add_brick_cbk] 0-cli: Received resp to add brick&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">[2016-01-30 04:32:40.196684] I [input.c:36:cli_batch] 0-: Exiting with: -1&nbsp;</span><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><div><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Can any one help me to analyze the reason£¿</span></div><div><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;"><br></span></div><div><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Thanks£¬</span></div><div><span style="color: rgb(51, 51, 51); font-family: Arial, sans-serif; line-height: 20px;">Xin&nbsp;</span></div></div><br style="font-family: Helvetica, 'Microsoft Yahei', verdana; line-height: 23.324px;"></div><br><br><span title="neteasefooter"><p>&nbsp;</p></span>