<div dir="ltr"><div><div><div><div>I have another set of logs for this problem and in this we don&#39;t have time stamp problem for this but we are getting same UUID duplicate entries on BoardB<br><br>ls -lart<br>total 16<br>drwxrwxr-x 12 abhishek abhishek 4096 Oct  3 08:58 ..<br>drwxrwxr-x  2 abhishek abhishek 4096 Oct  3 08:58 .<br>-rw-rw-r--  1 abhishek abhishek   71 Oct  3 13:36 d8f66ce8-4154-4246-8084-c63b9cfc1af4<br>-rw-rw-r--  1 abhishek abhishek   71 Oct  3 13:36 28d37300-425a-4781-b1e0-c13efa2ceee6<br><br></div>Previously also I provided logs to you. Again I am attaching logs for you to analyze.<br><br></div>I just want to know why this another peer file is getting created when there is not entry in logs for it.<br><br></div>Regards,<br></div>Abhishek<br><div><div><div><div><br><br></div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 21, 2016 at 2:47 PM, ABHISHEK PALIWAL <span dir="ltr">&lt;<a href="mailto:abhishpaliwal@gmail.com" target="_blank">abhishpaliwal@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span class="">On Mon, Nov 21, 2016 at 2:28 PM, Atin Mukherjee <span dir="ltr">&lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt;</span> wrote:<br><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span class="m_-5643492214428087075gmail-">On Mon, Nov 21, 2016 at 10:00 AM, ABHISHEK PALIWAL <span dir="ltr">&lt;<a href="mailto:abhishpaliwal@gmail.com" target="_blank">abhishpaliwal@gmail.com</a>&gt;</span> wrote:<br></span><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote"><div dir="ltr"><div><div><div><div><div>Hi Atin,<br><br><span class="m_-5643492214428087075gmail-">System is the embedded system and these dates are before the system get in timer sync.<br></span></div><br></div><span class="m_-5643492214428087075gmail-">Yes, I have also seen these two files in peers directory on 002500 board and I want to know the reason why gluster creates the second file when there is old file is exist. Even when you see the content of the these file are same.<br><br></span></div><span class="m_-5643492214428087075gmail-">Is it possible for gluster if we fall in this situation then instead of manually doing the steps which you mentioned above gluster will take care of this?<br></span></div></div></div></blockquote><div><br></div><div>We shouldn&#39;t have any unwanted data in /var/lib/glusterd at first place and that&#39;s a prerequisite of gluster installation failing which inconsistencies of configuration data can&#39;t be handled automatically until manual intervention.<br> <br></div></div></div></div></blockquote></span><div>it means before starting of gluster installation /var/lib/glusterd always we empty? because in this case nothing is unwanted before installing the glusterd. <br></div><span class=""><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div></div><span class="m_-5643492214428087075gmail-"><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote"><div dir="ltr"><div><div><br></div><div>I have some questions:<br><br></div><div>1. based on the logs can we find out the reason for having two peers files with same contents.<br></div></div></div></blockquote><div><br></div></span><div>No we can&#39;t as the log file doesn&#39;t have any entry of 26ae19a6-b58f-446a-b079-411d4e<wbr>e57450 which indicates that this entry is a stale one and was (is) there since long time and the log files are the latest.<br></div></div></div></div></blockquote><div> </div></span><div>I agreed this 26ae19a6-b58f-446a-b079-411d4e<wbr>e57450 entry is not there but as we checked this file is newer in peer and 5be8603b-18d0-4333-8590-38f918<wbr>a22857 is the older file<b>.<br><br></b></div><div>Also, below are some more logs in etc-glusterfs-glusterd.log file from 002500 board file<br><br>The message &quot;I [MSGID: 106004] [glusterd-handler.c:5065:__<wbr>glusterd_peer_rpc_notify] 0-management: Peer &lt;10.32.0.48&gt; (&lt;5be8603b-18d0-4333-8590-<wbr>38f918a22857&gt;), in state &lt;Peer in Cluster&gt;, has disconnected from glusterd.&quot; repeated 3 times between [2016-11-17 22:01:23.542556] and [2016-11-17 22:01:36.993584]<br>The message &quot;W [MSGID: 106118] [glusterd-handler.c:5087:__<wbr>glusterd_peer_rpc_notify] 0-management: Lock not released for c_glusterfs&quot; repeated 3 times between [2016-11-17 22:01:23.542973] and [2016-11-17 22:01:36.993855]<br>[2016-11-17 22:01:48.860555] I [MSGID: 106487] [glusterd-handler.c:1411:__<wbr>glusterd_handle_cli_list_<wbr>friends] 0-glusterd: Received cli list req<br>[2016-11-17 22:01:49.137733] I [MSGID: 106163] [glusterd-handshake.c:1193:__<wbr>glusterd_mgmt_hndsk_versions_<wbr>ack] 0-management: using the op-version 30706<br>[2016-11-17 22:01:49.240986] I [MSGID: 106493] [glusterd-rpc-ops.c:694:__<wbr>glusterd_friend_update_cbk] 0-management: Received ACC from uuid: 5be8603b-18d0-4333-8590-<wbr>38f918a22857<br>[2016-11-17 22:11:58.658884] E [rpc-clnt.c:201:call_bail] 0-management: bailing out frame type(glusterd mgmt) op(--(3)) xid = 0x15 sent = 2016-11-17 22:01:48.945424. timeout = 600 for <a href="http://10.32.0.48:24007" target="_blank">10.32.0.48:24007</a><br>[2016-11-17 22:11:58.658987] E [MSGID: 106153] [glusterd-syncop.c:113:gd_<wbr>collate_errors] 0-glusterd: Staging failed on 10.32.0.48. Please check log file for details.<br>[2016-11-17 22:11:58.659243] I [socket.c:3382:socket_submit_<wbr>reply] 0-socket.management: not connected (priv-&gt;connected = 255)<br>[2016-11-17 22:11:58.659265] E [rpcsvc.c:1314:rpcsvc_submit_<wbr>generic] 0-rpc-service: failed to submit message (XID: 0x1, Program: GlusterD svc cli, ProgVers: 2, Proc: 27) to rpc-transport (socket.management)<br>[2016-11-17 22:11:58.659305] E [MSGID: 106430] [glusterd-utils.c:400:<wbr>glusterd_submit_reply] 0-glusterd: Reply submission failed<br>[2016-11-17 22:13:58.674343] E [rpc-clnt.c:201:call_bail] 0-management: bailing out frame type(glusterd mgmt) op(--(3)) xid = 0x11 sent = 2016-11-17 22:03:50.268751. timeout = 600 for <a href="http://10.32.0.48:24007" target="_blank">10.32.0.48:24007</a><br>[2016-11-17 22:13:58.674414] E [MSGID: 106153] [glusterd-syncop.c:113:gd_<wbr>collate_errors] 0-glusterd: Staging failed on 10.32.0.48. Please check log file for details.<br>[2016-11-17 22:13:58.674604] I [socket.c:3382:socket_submit_<wbr>reply] 0-socket.management: not connected (priv-&gt;connected = 255)<br>[2016-11-17 22:13:58.674627] E [rpcsvc.c:1314:rpcsvc_submit_<wbr>generic] 0-rpc-service: failed to submit message (XID: 0x1, Program: GlusterD svc cli, ProgVers: 2, Proc: 27) to rpc-transport (socket.management)<br>[2016-11-17 22:13:58.674667] E [MSGID: 106430] [glusterd-utils.c:400:<wbr>glusterd_submit_reply] 0-glusterd: Reply submission failed<br>[2016-11-17 22:15:58.687737] E [rpc-clnt.c:201:call_bail] 0-management: bailing out frame type(glusterd mgmt) op(--(3)) xid = 0x17 sent = 2016-11-17 22:05:51.341614. timeout = 600 for <a href="http://10.32.0.48:24007" target="_blank">10.32.0.48:24007</a><br><br></div><div>is these logs causing duplicate UUID or duplicate UUID causing this?<br> </div><div><div class="h5"><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><br> </div><span class="m_-5643492214428087075gmail-"><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote"><div dir="ltr"><div><div></div><div>2. is there any way to do it from gluster code.<br></div></div></div></blockquote><div><br></div></span><div>Ditto as above. <br></div><div><div class="m_-5643492214428087075gmail-h5"><div> <br></div><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote"><div dir="ltr"><div><div><br></div><div>Regards,<br></div><div>Abhishek<br></div><div><br></div>Regards,<br></div>Abhishek <br></div><div class="gmail_extra"><div><div class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-h5"><br><div class="gmail_quote">On Mon, Nov 21, 2016 at 9:52 AM, Atin Mukherjee <span dir="ltr">&lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt;</span> wrote:<br><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote"><div dir="ltr"><div><div>atin@dhcp35-96:~/Downloads/glu<wbr>ster_users/abhishek_dup_uuid/d<wbr>uplicate_uuid/glusterd_2500/pe<wbr>ers$ ls -lrt<br>total 8<br>-rw-------. 1 atin wheel 71 <b>Jan  1  1970</b> 5be8603b-18d0-4333-8590-38f918<wbr>a22857<br>-rw-------. 1 atin wheel 71 Nov 18 03:31 26ae19a6-b58f-446a-b079-411d4e<wbr>e57450<br><br></div>In board 2500 look at the date of the file 5be8603b-18d0-4333-8590-38f918<wbr>a22857 (marked in bold). Not sure how did you end up having this file in such time stamp. I am guessing this could be because of the set up been not cleaned properly at the time of re-installation.<br><br></div><div>Here is the steps what I&#39;d recommend for now:<br><br></div><div>1. rename 26ae19a6-b58f-446a-b079-411d4e<wbr>e57450 to 5be8603b-18d0-4333-8590-38f918<wbr>a22857, you should have only one entry in the peers folder in board 2500.<br></div><div>2. Bring down both glusterd instances<br></div><div>3. Bring back one by one<br><br></div><div>And then restart glusterd to see if the issue persists.<br></div><div><br></div><div><div><br></div></div></div><div class="gmail_extra"><div><div class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565h5"><br><div class="gmail_quote">On Mon, Nov 21, 2016 at 9:34 AM, ABHISHEK PALIWAL <span dir="ltr">&lt;<a href="mailto:abhishpaliwal@gmail.com" target="_blank">abhishpaliwal@gmail.com</a>&gt;</span> wrote:<br><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote"><div dir="ltr">Hope you will see in the logs......<br></div><div class="gmail_extra"><div><div class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565m_2165030926284316445h5"><br><div class="gmail_quote">On Mon, Nov 21, 2016 at 9:17 AM, ABHISHEK PALIWAL <span dir="ltr">&lt;<a href="mailto:abhishpaliwal@gmail.com" target="_blank">abhishpaliwal@gmail.com</a>&gt;</span> wrote:<br><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote"><div dir="ltr"><div><div>Hi Atin,<br><br></div>It is not getting wipe off we have changed the configuration path from /var/lib/glusterd to /system/glusterd.<br><br></div>So, they will remain as same as previous.<br></div><div class="gmail_extra"><div><div class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565m_2165030926284316445m_-3825362369822899564h5"><br><div class="gmail_quote">On Mon, Nov 21, 2016 at 9:15 AM, Atin Mukherjee <span dir="ltr">&lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt;</span> wrote:<br><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote"><div dir="ltr"><div>Abhishek,<br><br></div>rebooting the board does wipe of /var/lib/glusterd contents in your set up right (as per my earlier conversation with you) ? In that case, how are you ensuring that the same node gets back the older UUID? If you don&#39;t then this is bound to happen.<br></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565m_2165030926284316445m_-3825362369822899564m_4537772878710320405h5">On Mon, Nov 21, 2016 at 9:11 AM, ABHISHEK PALIWAL <span dir="ltr">&lt;<a href="mailto:abhishpaliwal@gmail.com" target="_blank">abhishpaliwal@gmail.com</a>&gt;</span> wrote:<br></div></div><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote"><div><div class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565m_2165030926284316445m_-3825362369822899564m_4537772878710320405h5"><div dir="ltr"><div><div><div><div><div>Hi Team,<br><br></div>Please lookinto this problem as this is very widely seen problem in our system.<br><br></div>We are having the setup of replicate volume setup with two brick but after restarting the second board I am getting the duplicate entry in &quot;gluster peer status&quot; command like below:<br><br><b># gluster peer status
<br>Number of Peers: 2
<br> <br>Hostname: 10.32.0.48
<br>Uuid: 5be8603b-18d0-4333-8590-38f918<wbr>a22857
<br>State: Peer in Cluster (Connected)
<br> <br>Hostname: 10.32.0.48
<br>Uuid: 5be8603b-18d0-4333-8590-38f918<wbr>a22857
<br>State: Peer in Cluster (Connected)
<br># </b><br><br></div>I am attaching all logs from both the boards and the command outputs as well.<br><br></div>So could you please check what is the reason to get in this situation as it is very frequent in multiple case.<br><br></div>Also, we are not replacing any board from setup just rebooting.<span class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565m_2165030926284316445m_-3825362369822899564m_4537772878710320405m_5358767248099632655HOEnZb"><font color="#888888"><br clear="all"><div><div><div><div><div><div><br>-- <br><div class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565m_2165030926284316445m_-3825362369822899564m_4537772878710320405m_5358767248099632655m_-8378480620134523234gmail_signature"><div dir="ltr"><br>Regards<br>
Abhishek Paliwal<br>
</div></div>
</div></div></div></div></div></div></font></span></div>
<br></div></div>______________________________<wbr>_________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a rel="noreferrer" href="http://www.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://www.gluster.org/mailman<wbr>/listinfo/gluster-users</a><span class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565m_2165030926284316445m_-3825362369822899564m_4537772878710320405HOEnZb"><font color="#888888"><br></font></span></blockquote></div><span class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565m_2165030926284316445m_-3825362369822899564m_4537772878710320405HOEnZb"><font color="#888888"><br><br clear="all"><br>-- <br><div class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565m_2165030926284316445m_-3825362369822899564m_4537772878710320405m_5358767248099632655gmail_signature"><div dir="ltr"><div><div dir="ltr"><br></div><div>~ Atin (atinm)<br></div></div></div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><br></div></div><span class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565m_2165030926284316445m_-3825362369822899564HOEnZb"><font color="#888888">-- <br><div class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565m_2165030926284316445m_-3825362369822899564m_4537772878710320405gmail_signature"><div dir="ltr"><br><br><br><br>Regards<br>
Abhishek Paliwal<br>
</div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><br></div></div><span class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565m_2165030926284316445HOEnZb"><font color="#888888">-- <br><div class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565m_2165030926284316445m_-3825362369822899564gmail_signature"><div dir="ltr"><br><br><br><br>Regards<br>
Abhishek Paliwal<br>
</div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><br></div></div><span class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565HOEnZb"><font color="#888888">-- <br><div class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565m_2165030926284316445gmail_signature"><div dir="ltr"><div><div dir="ltr"><br></div><div>~ Atin (atinm)<br></div></div></div></div>
</font></span></div>
</blockquote></div><br><br clear="all"><br></div></div><span class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-HOEnZb"><font color="#888888">-- <br><div class="m_-5643492214428087075gmail-m_-7382702680398400704gmail-m_6574402790295590565gmail_signature"><div dir="ltr"><br><br><br><br>Regards<br>
Abhishek Paliwal<br>
</div></div>
</font></span></div>
</blockquote></div></div></div><span class="m_-5643492214428087075gmail-HOEnZb"><font color="#888888"><br><br clear="all"><br>-- <br><div class="m_-5643492214428087075gmail-m_-7382702680398400704gmail_signature"><div dir="ltr"><div><div dir="ltr"><br></div><div>~ Atin (atinm)<br></div></div></div></div>
</font></span></div></div>
</blockquote></div></div></div><span class="HOEnZb"><font color="#888888"><br><br clear="all"><br>-- <br><div class="m_-5643492214428087075gmail_signature"><div dir="ltr"><br><br><br><br>Regards<br>
Abhishek Paliwal<br>
</div></div>
</font></span></div></div>
</blockquote></div><br><br clear="all"><br><br></div></div>