<div dir="ltr"><div><br>Thanks Atin, I had three merge conflicts in the third patch.. I&#39;ve attached the files with the conflicts. Would any of the intervening commits be needed as well?<br><br></div>The conflicts were in :<br><br>    both modified:      libglusterfs/src/mem-types.h<br>    both modified:      xlators/mgmt/glusterd/src/glusterd-utils.c<br>    both modified:      xlators/mgmt/glusterd/src/glusterd-utils.h<br><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jun 17, 2016 at 2:17 PM, Atin Mukherjee <span dir="ltr">&lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class=""><br>
<br>
On 06/17/2016 12:44 PM, B.K.Raghuram wrote:<br>
&gt; Thanks Atin.. I&#39;m not familiar with pulling patches the review system<br>
&gt; but will try:)<br>
<br>
</span>It&#39;s not that difficult. Open the gerrit review link, go to the download<br>
drop box at the top right corner, click on it and then you will see a<br>
cherry pick option, copy that content and paste it the source code repo<br>
you host. If there are no merge conflicts, it should auto apply,<br>
otherwise you&#39;d need to fix them manually.<br>
<br>
HTH.<br>
<span class="HOEnZb"><font color="#888888">Atin<br>
</font></span><span class="im HOEnZb"><br>
&gt;<br>
&gt; On Fri, Jun 17, 2016 at 12:35 PM, Atin Mukherjee &lt;<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a><br>
</span><span class="im HOEnZb">&gt; &lt;mailto:<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a>&gt;&gt; wrote:<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;     On 06/16/2016 06:17 PM, Atin Mukherjee wrote:<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt; On 06/16/2016 01:32 PM, B.K.Raghuram wrote:<br>
&gt;     &gt;&gt; Thanks a lot Atin,<br>
&gt;     &gt;&gt;<br>
&gt;     &gt;&gt; The problem is that we are using a forked version of 3.6.1 which has<br>
&gt;     &gt;&gt; been modified to work with ZFS (for snapshots) but we do not have the<br>
&gt;     &gt;&gt; resources to port that over to the later versions of gluster.<br>
&gt;     &gt;&gt;<br>
&gt;     &gt;&gt; Would you know of anyone who would be willing to take this on?!<br>
&gt;     &gt;<br>
&gt;     &gt; If you can cherry pick the patches and apply them on your source and<br>
&gt;     &gt; rebuild it, I can point the patches to you, but you&#39;d need to give a<br>
&gt;     &gt; day&#39;s time to me as I have some other items to finish from my plate.<br>
&gt;<br>
&gt;<br>
&gt;     Here is the list of the patches need to be applied on the following<br>
&gt;     order:<br>
&gt;<br>
&gt;     <a href="http://review.gluster.org/9328" rel="noreferrer" target="_blank">http://review.gluster.org/9328</a><br>
&gt;     <a href="http://review.gluster.org/9393" rel="noreferrer" target="_blank">http://review.gluster.org/9393</a><br>
&gt;     <a href="http://review.gluster.org/10023" rel="noreferrer" target="_blank">http://review.gluster.org/10023</a><br>
&gt;<br>
&gt;     &gt;<br>
&gt;     &gt; ~Atin<br>
&gt;     &gt;&gt;<br>
&gt;     &gt;&gt; Regards,<br>
&gt;     &gt;&gt; -Ram<br>
&gt;     &gt;&gt;<br>
&gt;     &gt;&gt; On Thu, Jun 16, 2016 at 11:02 AM, Atin Mukherjee<br>
&gt;     &lt;<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a> &lt;mailto:<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a>&gt;<br>
</span><div class="HOEnZb"><div class="h5">&gt;     &gt;&gt; &lt;mailto:<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a> &lt;mailto:<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a>&gt;&gt;&gt; wrote:<br>
&gt;     &gt;&gt;<br>
&gt;     &gt;&gt;<br>
&gt;     &gt;&gt;<br>
&gt;     &gt;&gt;     On 06/16/2016 10:49 AM, B.K.Raghuram wrote:<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt; On Wed, Jun 15, 2016 at 5:01 PM, Atin Mukherjee<br>
&gt;     &lt;<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a> &lt;mailto:<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a>&gt;<br>
&gt;     &lt;mailto:<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a> &lt;mailto:<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a>&gt;&gt;<br>
&gt;     &gt;&gt;     &gt; &lt;mailto:<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a> &lt;mailto:<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a>&gt;<br>
&gt;     &lt;mailto:<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a> &lt;mailto:<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a>&gt;&gt;&gt;&gt; wrote:<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;     On 06/15/2016 04:24 PM, B.K.Raghuram wrote:<br>
&gt;     &gt;&gt;     &gt;     &gt; Hi,<br>
&gt;     &gt;&gt;     &gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;     &gt; We&#39;re using gluster 3.6.1 and we periodically find<br>
&gt;     that gluster commands<br>
&gt;     &gt;&gt;     &gt;     &gt; fail saying the it could not get the lock on one of<br>
&gt;     the brick machines.<br>
&gt;     &gt;&gt;     &gt;     &gt; The logs on that machine then say something like :<br>
&gt;     &gt;&gt;     &gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;     &gt; [2016-06-15 08:17:03.076119] E<br>
&gt;     &gt;&gt;     &gt;     &gt; [glusterd-op-sm.c:3058:glusterd_op_ac_lock]<br>
&gt;     0-management: Unable to<br>
&gt;     &gt;&gt;     &gt;     &gt; acquire lock for vol2<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;     This is a possible case if concurrent volume operations<br>
&gt;     are run. Do you<br>
&gt;     &gt;&gt;     &gt;     have any script which checks for volume status on an<br>
&gt;     interval from all<br>
&gt;     &gt;&gt;     &gt;     the nodes, if so then this is an expected behavior.<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt; Yes, I do have a couple of scripts that check on volume and<br>
&gt;     quota<br>
&gt;     &gt;&gt;     &gt; status.. Given this, I do get a &quot;Another transaction is in<br>
&gt;     progress..&quot;<br>
&gt;     &gt;&gt;     &gt; message which is ok. The problem is that sometimes I get<br>
&gt;     the volume lock<br>
&gt;     &gt;&gt;     &gt; held message which never goes away. This sometimes results<br>
&gt;     in glusterd<br>
&gt;     &gt;&gt;     &gt; consuming a lot of memory and CPU and the problem can only<br>
&gt;     be fixed with<br>
&gt;     &gt;&gt;     &gt; a reboot. The log files are huge so I&#39;m not sure if its ok<br>
&gt;     to attach<br>
&gt;     &gt;&gt;     &gt; them to an email.<br>
&gt;     &gt;&gt;<br>
&gt;     &gt;&gt;     Ok, so this is known. We have fixed lots of stale lock issues<br>
&gt;     in 3.7<br>
&gt;     &gt;&gt;     branch and some of them if not all were also backported to<br>
&gt;     3.6 branch.<br>
&gt;     &gt;&gt;     The issue is you are using 3.6.1 which is quite old. If you<br>
&gt;     can upgrade<br>
&gt;     &gt;&gt;     to latest versions of 3.7 or at worst of 3.6 I am confident<br>
&gt;     that this<br>
&gt;     &gt;&gt;     will go away.<br>
&gt;     &gt;&gt;<br>
&gt;     &gt;&gt;     ~Atin<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;     &gt; After sometime, glusterd then seems to give up and die..<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;     Do you mean glusterd shuts down or segfaults, if so I<br>
&gt;     am more<br>
&gt;     &gt;&gt;     interested<br>
&gt;     &gt;&gt;     &gt;     in analyzing this part. Could you provide us the<br>
&gt;     glusterd log,<br>
&gt;     &gt;&gt;     &gt;     cmd_history log file along with core (in case of SEGV) from<br>
&gt;     &gt;&gt;     all the<br>
&gt;     &gt;&gt;     &gt;     nodes for the further analysis?<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt; There is no segfault. glusterd just shuts down. As I said<br>
&gt;     above,<br>
&gt;     &gt;&gt;     &gt; sometimes this happens and sometimes it just continues to<br>
&gt;     hog a lot of<br>
&gt;     &gt;&gt;     &gt; memory and CPU..<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;     &gt; Interestingly, I also find the following line in the<br>
&gt;     &gt;&gt;     beginning of<br>
&gt;     &gt;&gt;     &gt;     &gt; etc-glusterfs-glusterd.vol.log and I dont know if<br>
&gt;     this has any<br>
&gt;     &gt;&gt;     &gt;     &gt; significance to the issue :<br>
&gt;     &gt;&gt;     &gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;     &gt; [2016-06-14 06:48:57.282290] I<br>
&gt;     &gt;&gt;     &gt;     &gt; [glusterd-store.c:2063:glusterd_restore_op_version]<br>
&gt;     &gt;&gt;     0-management:<br>
&gt;     &gt;&gt;     &gt;     &gt; Detected new install. Setting op-version to maximum :<br>
&gt;     30600<br>
&gt;     &gt;&gt;     &gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt;<br>
&gt;     &gt;&gt;     &gt; What does this line signify?<br>
&gt;     &gt;&gt;<br>
&gt;     &gt;&gt;<br>
&gt;<br>
&gt;<br>
</div></div></blockquote></div><br></div>