<div dir="ltr">Thank you, I&#39;&#39;ll wait for the new version.<div><br><div>Regards,</div><div>Radu</div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Nov 3, 2016 at 3:03 PM, Prasanna Kalever <span dir="ltr">&lt;<a href="mailto:pkalever@redhat.com" target="_blank">pkalever@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
After our past two days of investigations, this is no longer a new/fresh bug :)<br>
<br>
The cause for is double unref of fd introduced in 3.8.5 with [1]<br>
<br>
We have thoroughly investigated on this, and the fix [2] is likely to<br>
be coming in the next gluster update.<br>
<br>
[1] <a href="http://review.gluster.org/#/c/15585" rel="noreferrer" target="_blank">http://review.gluster.org/#/c/<wbr>15585</a><br>
[2] <a href="http://review.gluster.org/#/c/15768/" rel="noreferrer" target="_blank">http://review.gluster.org/#/c/<wbr>15768/</a><br>
<br>
--<br>
Prasanna<br>
<div><div class="h5"><br>
<br>
On Thu, Nov 3, 2016 at 4:34 PM, Radu Radutiu &lt;<a href="mailto:rradutiu@gmail.com">rradutiu@gmail.com</a>&gt; wrote:<br>
&gt; Hi,<br>
&gt;<br>
&gt; After updating glusterfs server to 3.8.5 (from Centos-gluster-3.8.repo) the<br>
&gt; KVM virtual machines (qemu-kvm-ev-2.3.0-31) that access storage using<br>
&gt; libgfapi are no longer able to start. The libvirt log file shows:<br>
&gt;<br>
&gt; [2016-11-02 14:26:41.864024] I [MSGID: 104045] [glfs-master.c:91:notify]<br>
&gt; 0-gfapi: New graph 73332d32-3937-3130-2d32-<wbr>3031362d3131 (0) coming up<br>
&gt; [2016-11-02 14:26:41.864075] I [MSGID: 114020] [client.c:2356:notify]<br>
&gt; 0-testvol-client-0: parent translators are ready, attempting connect on<br>
&gt; transport<br>
&gt; [2016-11-02 14:26:41.882975] I [rpc-clnt.c:1947:rpc_clnt_<wbr>reconfig]<br>
&gt; 0-testvol-client-0: changing port to 49152 (from 0)<br>
&gt; [2016-11-02 14:26:41.889362] I [MSGID: 114057]<br>
&gt; [client-handshake.c:1446:<wbr>select_server_supported_<wbr>programs]<br>
&gt; 0-testvol-client-0: Using Program GlusterFS 3.3, Num (1298437), Version<br>
&gt; (330)<br>
&gt; [2016-11-02 14:26:41.890001] I [MSGID: 114046]<br>
&gt; [client-handshake.c:1222:<wbr>client_setvolume_cbk] 0-testvol-client-0: Connected<br>
&gt; to testvol-client-0, attached to remote volume &#39;/data/brick1/testvol&#39;.<br>
&gt; [2016-11-02 14:26:41.890035] I [MSGID: 114047]<br>
&gt; [client-handshake.c:1233:<wbr>client_setvolume_cbk] 0-testvol-client-0: Server<br>
&gt; and Client lk-version numbers are not same, reopening the fds<br>
&gt; [2016-11-02 14:26:41.917990] I [MSGID: 114035]<br>
&gt; [client-handshake.c:201:<wbr>client_set_lk_version_cbk] 0-testvol-client-0:<br>
&gt; Server lk version = 1<br>
&gt; [2016-11-02 14:26:41.919289] I [MSGID: 104041]<br>
&gt; [glfs-resolve.c:885:__glfs_<wbr>active_subvol] 0-testvol: switched to graph<br>
&gt; 73332d32-3937-3130-2d32-<wbr>3031362d3131 (0)<br>
&gt; [2016-11-02 14:26:41.922174] I [MSGID: 114021] [client.c:2365:notify]<br>
&gt; 0-testvol-client-0: current graph is no longer active, destroying rpc_client<br>
&gt; [2016-11-02 14:26:41.922269] I [MSGID: 114018]<br>
&gt; [client.c:2280:client_rpc_<wbr>notify] 0-testvol-client-0: disconnected from<br>
&gt; testvol-client-0. Client process will keep trying to connect to glusterd<br>
&gt; until brick&#39;s port is available<br>
&gt; [2016-11-02 14:26:41.922592] I [MSGID: 101053]<br>
&gt; [mem-pool.c:617:mem_pool_<wbr>destroy] 0-gfapi: size=84 max=1 total=1<br>
&gt; [2016-11-02 14:26:41.923044] I [MSGID: 101053]<br>
&gt; [mem-pool.c:617:mem_pool_<wbr>destroy] 0-gfapi: size=188 max=2 total=2<br>
&gt; [2016-11-02 14:26:41.923419] I [MSGID: 101053]<br>
&gt; [mem-pool.c:617:mem_pool_<wbr>destroy] 0-gfapi: size=140 max=2 total=2<br>
&gt; [2016-11-02 14:26:41.923442] I [MSGID: 101053]<br>
&gt; [mem-pool.c:617:mem_pool_<wbr>destroy] 0-testvol-client-0: size=1324 max=2<br>
&gt; total=5<br>
&gt; [2016-11-02 14:26:41.923458] I [MSGID: 101053]<br>
&gt; [mem-pool.c:617:mem_pool_<wbr>destroy] 0-testvol-dht: size=1148 max=0 total=0<br>
&gt; [2016-11-02 14:26:41.923546] I [MSGID: 101053]<br>
&gt; [mem-pool.c:617:mem_pool_<wbr>destroy] 0-testvol-dht: size=3380 max=2 total=5<br>
&gt; [2016-11-02 14:26:41.923815] I [MSGID: 101053]<br>
&gt; [mem-pool.c:617:mem_pool_<wbr>destroy] 0-testvol-read-ahead: size=188 max=0<br>
&gt; total=0<br>
&gt; [2016-11-02 14:26:41.923832] I [MSGID: 101053]<br>
&gt; [mem-pool.c:617:mem_pool_<wbr>destroy] 0-testvol-readdir-ahead: size=60 max=0<br>
&gt; total=0<br>
&gt; [2016-11-02 14:26:41.923844] I [MSGID: 101053]<br>
&gt; [mem-pool.c:617:mem_pool_<wbr>destroy] 0-testvol-io-cache: size=68 max=0 total=0<br>
&gt; [2016-11-02 14:26:41.923856] I [MSGID: 101053]<br>
&gt; [mem-pool.c:617:mem_pool_<wbr>destroy] 0-testvol-io-cache: size=252 max=1 total=3<br>
&gt; [2016-11-02 14:26:41.923877] I [io-stats.c:3747:fini] 0-testvol: io-stats<br>
&gt; translator unloaded<br>
&gt; [2016-11-02 14:26:41.924191] I [MSGID: 101191]<br>
&gt; [event-epoll.c:659:event_<wbr>dispatch_epoll_worker] 0-epoll: Exited thread with<br>
&gt; index 2<br>
&gt; [2016-11-02 14:26:41.924232] I [MSGID: 101191]<br>
&gt; [event-epoll.c:659:event_<wbr>dispatch_epoll_worker] 0-epoll: Exited thread with<br>
&gt; index 1<br>
&gt; 2016-11-02T14:26:42.825041Z qemu-kvm: -drive<br>
&gt; file=gluster://s3/testvol/c7.<wbr>img,if=none,id=drive-virtio-<wbr>disk0,format=qcow2,cache=none:<br>
&gt; Could not read L1 table: Bad file descriptor<br>
&gt;<br>
&gt; The brick is available , runs on the same host  and mounted in another<br>
&gt; directory using fuse (to confirm that it is indeed fine).<br>
&gt; If I downgrade the gluster server to 3.8.4 everything works fine. Anyone has<br>
&gt; seen this or has any idea how to debug?<br>
&gt;<br>
&gt; Regards,<br>
&gt; Radu<br>
&gt;<br>
</div></div>&gt; ______________________________<wbr>_________________<br>
&gt; Gluster-users mailing list<br>
&gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt; <a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/<wbr>mailman/listinfo/gluster-users</a><br>
</blockquote></div><br></div>