<html>
<body>
&#13;<br>
&#13;<br>
On 01/27/2016 05:44 PM, Atin Mukherjee wrote:&#13;<br>
<font color="#000000">&gt; Please share the glusterd log files along with cmd history log file from&#13;</font><br>
<font color="#000000">&gt; all the nodes.&#13;</font><br>
<font color="#000000">&gt;&#13;</font><br>
<font color="#000000">&gt; Thanks,&#13;</font><br>
<font color="#000000">&gt; Atin&#13;</font><br>
<font color="#000000">&gt;&#13;</font><br>
<font color="#000000">&gt; On 01/27/2016 08:33 PM, Jorick Astrego wrote:&#13;</font><br>
<font color="#000000">&gt;&gt; Hi,&#13;</font><br>
<font color="#000000">&gt;&gt;&#13;</font><br>
<font color="#000000">&gt;&gt; After upgrading one of a 3 node glusterfs cluster to 3.6.6, I cannot get&#13;</font><br>
<font color="#000000">&gt;&gt; the HDD-1 volume to start properly on this server. The other servers are&#13;</font><br>
<font color="#000000">&gt;&gt; still running 3.6.4 because I don't know if they will all fail after the&#13;</font><br>
<font color="#000000">&gt;&gt; upgrade. There appears to be an issue with the quota fixed in 3.6.6&#13;</font><br>
<font color="#000000">&gt;&gt; (<a href="https://bugzilla.redhat.com/show_bug.cgi?id=1259578">https://bugzilla.redhat.com/show_bug.cgi?id=1259578</a>) that may be the cause:&#13;</font><br>
<font color="#000000">&gt;&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; gluster volume status HDD1&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Locking failed on 10.99.99.1. Please check log file for details.&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Locking failed on 10.99.99.3. Please check log file for details.&#13;</font><br>
<font color="#000000">&gt;&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [2016-01-27 14:52:11.268901] W&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [marker-quota.c:1452:mq_release_parent_lock] (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /lib64/libglusterfs.so.0(_gf_log_callingfn+0x186)[0x7f869c2094f6]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /usr/lib64/glusterfs/3.6.6/xlator/features/marker.so(mq_release_parent_lock+0x271)[0x7f868a2b0bd1]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /usr/lib64/glusterfs/3.6.6/xlator/features/marker.so(mq_fetch_child_size_and_contri+0x30b)[0x7f868a2b1e1b]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /lib64/libglusterfs.so.0(default_setxattr_cbk+0xa3)[0x7f869c210bc3]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /usr/lib64/glusterfs/3.6.6/xlator/features/access-control.so(posix_acl_setxattr_cbk+0xa3)[0x7f868acfb743]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ))))) 0-HDD1-marker: An operation during quota updation of path&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (/52884f44-75f5-45ab-b909-a547e7c1c6f7/images/ce445275-4aa5-4f66-ad80-44259b425d98/33fd39ac-abbb-42df-8c9f-639c93e8c00d)&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; failed (Invalid argument)&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [2016-01-27 14:52:11.284504] W&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [marker-quota.c:1452:mq_release_parent_lock] (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /lib64/libglusterfs.so.0(_gf_log_callingfn+0x186)[0x7f869c2094f6]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /usr/lib64/glusterfs/3.6.6/xlator/features/marker.so(mq_release_parent_lock+0x271)[0x7f868a2b0bd1]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /usr/lib64/glusterfs/3.6.6/xlator/features/marker.so(mq_fetch_child_size_and_contri+0x30b)[0x7f868a2b1e1b]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /lib64/libglusterfs.so.0(default_setxattr_cbk+0xa3)[0x7f869c210bc3]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /usr/lib64/glusterfs/3.6.6/xlator/features/access-control.so(posix_acl_setxattr_cbk+0xa3)[0x7f868acfb743]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ))))) 0-HDD1-marker: An operation during quota updation of path&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (/52884f44-75f5-45ab-b909-a547e7c1c6f7/images/ce445275-4aa5-4f66-ad80-44259b425d98/33fd39ac-abbb-42df-8c9f-639c93e8c00d)&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; failed (Invalid argument)&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [2016-01-27 14:52:11.288115] W&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [marker-quota.c:1452:mq_release_parent_lock] (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /lib64/libglusterfs.so.0(_gf_log_callingfn+0x186)[0x7f869c2094f6]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /usr/lib64/glusterfs/3.6.6/xlator/features/marker.so(mq_release_parent_lock+0x271)[0x7f868a2b0bd1]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /usr/lib64/glusterfs/3.6.6/xlator/features/marker.so(mq_fetch_child_size_and_contri+0x30b)[0x7f868a2b1e1b]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /lib64/libglusterfs.so.0(default_setxattr_cbk+0xa3)[0x7f869c210bc3]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /usr/lib64/glusterfs/3.6.6/xlator/features/access-control.so(posix_acl_setxattr_cbk+0xa3)[0x7f868acfb743]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ))))) 0-HDD1-marker: An operation during quota updation of path&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (/52884f44-75f5-45ab-b909-a547e7c1c6f7/images/ce445275-4aa5-4f66-ad80-44259b425d98/33fd39ac-abbb-42df-8c9f-639c93e8c00d)&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; failed (Invalid argument)&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [2016-01-27 14:52:11.292966] W&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [marker-quota.c:1452:mq_release_parent_lock] (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /lib64/libglusterfs.so.0(_gf_log_callingfn+0x186)[0x7f869c2094f6]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /usr/lib64/glusterfs/3.6.6/xlator/features/marker.so(mq_release_parent_lock+0x271)[0x7f868a2b0bd1]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /usr/lib64/glusterfs/3.6.6/xlator/features/marker.so(mq_fetch_child_size_and_contri+0x30b)[0x7f868a2b1e1b]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /lib64/libglusterfs.so.0(default_setxattr_cbk+0xa3)[0x7f869c210bc3]&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (--&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /usr/lib64/glusterfs/3.6.6/xlator/features/access-control.so(posix_acl_setxattr_cbk+0xa3)[0x7f868a</font><br>
cfb743]&#13;<br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ))))) 0-HDD1-marker: An operation during quota updation of path&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (/52884f44-75f5-45ab-b909-a547e7c1c6f7/images/ce445275-4aa5-4f66-ad80-44259b425d98/33fd39ac-abbb-42df-8c9f-639c93e8c00d)&#13;</font><br>
<font color="#000000">&gt;&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; failed (Invalid argument)&#13;</font><br>
<font color="#000000">&gt;&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&#13;</font><br>
<font color="#000000">&gt;&gt;&#13;</font><br>
Hi,&#13;<br>
&#13;<br>
Any progress on this? I hope you received the logs last week.&#13;<br>
&#13;<br>
Currently we have a lot of stability problems with the cluster after I &#13;<br>
tried a downgrade to the original version without resolving the errors.&#13;<br>
&#13;<br>
The node with the errors is still up as far as oVirt sees it and some &#13;<br>
hosts connect to it. After a couple of hours VM's start to pause with &#13;<br>
unkown storage errors.&#13;<br>
&#13;<br>
What would be the best aproach as we now have a degraded storage &#13;<br>
cluster? Wipe and reinitialize the node or are there things I could try &#13;<br>
first?&#13;<br>
&#13;<br>
&#13;<br>

<BR />
<BR />
<b style="color:#604c78"></b><br><br><span style="color:#604c78;"><font color="000000"><span style="mso-fareast-language:en-gb;" lang="NL">Met vriendelijke groet, With kind regards,<br><br>Jorick Astrego<br></span></font></span><b style="color:#604c78"><br>Netbulae Virtualization Experts </b><br><hr style="border:none;border-top:1px solid #ccc;"><table style="width: 522px"><tbody><tr><td style="width: 130px;font-size: 10px">Tel:  053 20 30 270</td>    <td style="width: 130px;font-size: 10px">info@netbulae.eu</td>    <td style="width: 130px;font-size: 10px">Staalsteden 4-3A</td>    <td style="width: 130px;font-size: 10px">KvK 08198180</td></tr><tr>    <td style="width: 130px;font-size: 10px">Fax: 053 20 30 271</td>    <td style="width: 130px;font-size: 10px">www.netbulae.eu</td>    <td style="width: 130px;font-size: 10px">7547 TA Enschede</td>    <td style="width: 130px;font-size: 10px">BTW NL821234584B01</td></tr></tbody></table><br><hr style="border:none;border-top:1px solid #ccc;"><BR />
</body>
</html>