<div dir="ltr">Hey Kaushal,<div><br>Bashton AMI: <br>There are timeouts.<br><div><br></div><div>[2016-05-04 13:47:52.160729] D [rpc-clnt.c:1021:rpc_clnt_connection_init] 0-glusterfs: disable ping-timeout</div><div>[2016-05-04 13:47:52.171008] D [rpc-clnt-ping.c:281:rpc_clnt_start_ping] 0-glusterfs: ping timeout is 0, returning</div><div>  9:     option ping-timeout 30</div><div> 18:     option ping-timeout 30</div><div> 27:     option ping-timeout 30</div><div>[2016-05-05 09:51:53.707843] C [rpc-clnt-ping.c:165:rpc_clnt_ping_timer_expired] 0-thevolume-client-0: server <a href="http://10.10.10.239:49152">10.10.10.239:49152</a> has not responded in the last 30 seconds, disconnecting.</div><div>[2016-05-05 09:51:53.709692] W [rpc-clnt-ping.c:208:rpc_clnt_ping_cbk] 0-thevolume-client-0: socket disconnected<br><br>These same options, do not produce any timeouts when I am using the in-house AMI.<br><br>I am using the glusterfs-fuse.x86_64           3.7.11-1.el7                      glusterfs-epel version<br><br>wget -P /etc/yum.repos.d/ <a href="http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.8/EPEL.repo/glusterfs-epel.repo">http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.8/EPEL.repo/glusterfs-epel.repo</a><br><div>[root@web-i8faf7d03 yum.repos.d]# yum --showduplicates list glusterfs-fuse | expand</div><div>Loaded plugins: cob, fastestmirror</div><div>Loading mirror speeds from cached hostfile</div><div> * base: <a href="http://ftp.heanet.ie">ftp.heanet.ie</a></div><div> * epel: <a href="http://s3-mirror-eu-west-1.fedoraproject.org">s3-mirror-eu-west-1.fedoraproject.org</a></div><div> * extras: <a href="http://ftp.heanet.ie">ftp.heanet.ie</a></div><div> * updates: <a href="http://ftp.heanet.ie">ftp.heanet.ie</a></div><div>Installed Packages</div><div>glusterfs-fuse.x86_64           3.7.1-16.0.1.el7.centos           @updates      </div><div>Available Packages</div><div>glusterfs-fuse.x86_64           3.7.1-16.el7                      base          </div><div>glusterfs-fuse.x86_64           3.7.1-16.0.1.el7.centos           updates       </div><div>glusterfs-fuse.x86_64           3.7.11-1.el7                      glusterfs-epel<br><br>Regards,</div><div><br></div><div>E.</div><br></div><br><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Thu, 5 May 2016 at 10:56 Kaushal M &lt;<a href="mailto:kshlmster@gmail.com">kshlmster@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Thu, May 5, 2016 at 2:26 PM, Egidijus Ligeika <span dir="ltr">&lt;<a href="mailto:egidijus.ligeika@made.com" target="_blank">egidijus.ligeika@made.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Kaushal,<div>This is the volume info:</div><div><br></div><div><div><div>Volume Name: thevolume</div><div>Type: Replicate</div><div>Volume ID: da774a83-b426-42bd-b1ec-359b4e71314f</div><div>Status: Started</div><div>Number of Bricks: 1 x 3 = 3</div><div>Transport-type: tcp</div><div>Bricks:</div><div>Brick1: gluster-a.mag-test-madeinternal.com:/gluster/brick</div><div>Brick2: gluster-b.mag-test-madeinternal.com:/gluster/brick</div><div>Brick3: gluster-c.mag-test-madeinternal.com:/gluster/brick</div><div>Options Reconfigured:</div><div>performance.quick-read: off</div><div>network.ping-timeout: 30</div><div>performance.cache-size: 1853171712</div><div>performance.cache-refresh-timeout: 60</div><div>performance.io-thread-count: 32</div><div>performance.write-behind-window-size: 4MB</div><div>diagnostics.client-log-level: WARNING</div><div>diagnostics.brick-log-level: WARNING</div><div>cluster.self-heal-daemon: on</div><div>nfs.disable: true</div><div>performance.readdir-ahead: on</div></div><div><br></div></div><div><br>So my gluster FUSE clients are using not vanilla centos AMI, the AMI is one of the versions by bashton:<br><a href="https://www.bashton.com/blog/2015/centos-7-2-1511-ami/" target="_blank">https://www.bashton.com/blog/2015/centos-7-2-1511-ami/</a><br><br>My gluster cluster server AMI is using, our in-house AMI, that has some sysadmin packages, epel and docker baked-in.<br>I created a pretend client machine using our in-house AMI, I mounted the same cluster, the same way, with the same version of glusterfuse as on the broken client. Then I copied the same files again. The new pretend client had not a single issue. no issues in logs, everything completed successfully without problems.<br><br>I think - the problem is solved with the in-house AMI.<br><br></div></div></blockquote><div><br></div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>I&#39;m glad that you found an alternate solution to the problem.</div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>What can I share to help people investigate if it&#39;s the OS + package combination that might be breaking their gluster?<br></div></div></blockquote><div><br></div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>The bashton AMI has a different network driver. I&#39;m not saying it could be the issue, but that is something that could be investigated.</div><div><br></div><div>Do you see any ping-timeouts in the log? You could look at the logs around the time you get the read-only mount for more information.</div><div><br></div><div>Also, what version of GlusterFS are you using?</div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><br>Regards,</div><div><br></div><div>E.<br><br></div><div><br></div><div><br></div><div><br></div></div><div><div><br><div class="gmail_quote"><div dir="ltr">On Thu, 5 May 2016 at 07:40 Kaushal M &lt;<a href="mailto:kshlmster@gmail.com" target="_blank">kshlmster@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Wed, May 4, 2016 at 9:12 PM, Egidijus Ligeika <span dir="ltr">&lt;<a href="mailto:egidijus.ligeika@made.com" target="_blank">egidijus.ligeika@made.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Hello,</div><div><br></div>I have glusterfs client and server v3.7.11.<div>Th servers are running inside docker on debian image, on a centos host.</div><div><br></div><div>I am using the fuse client mounting to a list of DNS a records.</div><div>I use XFS as the underlying storage, inode size 512 and xfs is formatted with 512 inode size.</div><div><br></div><div>I can see the client and the cluster is clean and happy, heals work. when writing tens of gigabytes to the cluster via the fuse client I see errors like this ON THE FUSE CLIENT /var/log/glusterfs/mountname:  </div><div><br></div><div><pre style="color:rgb(0,0,0);font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;word-spacing:0px;word-wrap:break-word;white-space:pre-wrap">[2016<span style="display:inline-block;color:firebrick;padding-left:3px;padding-right:3px"><img style="padding-right:3px;min-height:0.8em"></span><div style="width:1811px"><div style="width:30em;margin:0px auto;border:2px solid rgb(153,51,51);color:rgb(153,51,51);padding:20px;background-color:rgb(255,238,238)">Error: Parse error on line 1:
[2016-05-04 14:43:17.7799
-----^
Expecting &#39;EOF&#39;, &#39;}&#39;, &#39;,&#39;, &#39;]&#39;<div style="width:16px;min-height:16px;background-image:url(&quot;http://close_icon.gif&quot;)"></div></div></div>-05-04 14:43:17.779936] W [rpc-clnt.c:1606:rpc_clnt_submit] 0-thevolume-client-1: failed to submit rpc-request (XID: 0xe75f8 Program: GlusterFS 3.3, ProgVers: 330, Proc: 27) to rpc-transport (thevolume-client-1)
[2016-05-04 14:43:17.779958] W [MSGID: 114031] [client-rpc-fops.c:2974:client3_3_lookup_cbk] 0-thevolume-client-1: remote operation failed. Path: / (00000000-0000-0000-0000-000000000001) [Transport endpoint is not connected]
[2016-05-04 14:43:17.780382] E [MSGID: 114031] [client-rpc-fops.c:1676:client3_3_finodelk_cbk] 0-thevolume-client-2: remote operation failed [Transport endpoint is not connected]
[2016-05-04 14:43:17.780525] E [rpc-clnt.c:362:saved_frames_unwind] (--&gt; /lib64/libglusterfs.so.0(_gf_log_callingfn+0x192)[0x7f03bf304ae2] (--&gt; /lib64/libgfrpc.so.0(saved_frames_unwind+0x1de)[0x7f03bf0cf90e] (--&gt; /lib64/libgfrpc.so.0(saved_frames_destroy+0xe)[0x7f03bf0cfa1e] (--&gt; /lib64/libgfrpc.so.0(rpc_clnt_connection_cleanup+0x7a)[0x7f03bf0d140a] (--&gt; /lib64/libgfrpc.so.0(rpc_clnt_notify+0x88)[0x7f03bf0d1c38] ))))) 0-thevolume-client-1: forced unwinding frame type(GF-DUMP) op(NULL(2)) called at 2016-05-04 14:42:47.766130 (xid=0xe75df)
[2016-05-04 14:43:17.780541] W [rpc-clnt-ping.c:208:rpc_clnt_ping_cbk] 0-thevolume-client-1: socket disconnected
[2016-05-04 14:43:17.780645] E [rpc-clnt.c:362:saved_frames_unwind] (--&gt; /lib64/libglusterfs.so.0(_gf_log_callingfn+0x192)[0x7f03bf304ae2] (--&gt; /lib64/libgfrpc.so.0(saved_frames_unwind+0x1de)[0x7f03bf0cf90e] (--&gt; /lib64/libgfrpc.so.0(saved_frames_destroy+0xe)[0x7f03bf0cfa1e] (--&gt; /lib64/libgfrpc.so.0(rpc_clnt_connection_cleanup+0x7a)[0x7f03bf0d140a] (--&gt; /lib64/libgfrpc.so.0(rpc_clnt_notify+0x88)[0x7f03bf0d1c38] ))))) 0-thevolume-client-1: forced unwinding frame type(GlusterFS 3.3) op(LOOKUP(27)) called at 2016-05-04 14:42:55.772720 (xid=0xe75e0)
[2016-05-04 14:43:17.780675] W [MSGID: 114031] [client-rpc-fops.c:2974:client3_3_lookup_cbk] 0-thevolume-client-1: remote operation failed. Path: / (00000000-0000-0000-0000-000000000001) [Transport endpoint is not connected]
[2016-05-04 14:43:17.780880] E [rpc-clnt.c:362:saved_frames_unwind] (--&gt; /lib64/libglusterfs.so.0(_gf_log_callingfn+0x192)[0x7f03bf304ae2] (--&gt; /lib64/libgfrpc.so.0(saved_frames_unwind+0x1de)[0x7f03bf0cf90e] (--&gt; /lib64/libgfrpc.so.0(saved_frames_destroy+0xe)[0x7f03bf0cfa1e] (--&gt; /lib64/libgfrpc.so.0(rpc_clnt_connection_cleanup+0x7a)[0x7f03bf0d140a] (--&gt; /lib64/libgfrpc.so.0(rpc_clnt_notify+0x88)[0x7f03bf0d1c38] ))))) 0-thevolume-client-1: forced unwinding frame type(GlusterFS 3.3) op(LOOKUP(27)) called at 2016-05-04 14:43:12.445399 (xid=0xe75e1)
[2016-05-04 14:43:17.780898] W [MSGID: 114031] [client-rpc-fops.c:2974:client3_3_lookup_cbk] 0-thevolume-client-1: remote operation failed. Path: / (00000000-0000-0000-0000-000000000001) [Transport endpoint is not connected]
[2016-05-04 14:43:17.780963] E [MSGID: 108006] [afr-common.c:4046:afr_notify] 0-thevolume-replicate-0: All subvolumes are down. Going offline until atleast one of them comes back up.
[2016-05-04 14:43:17.781039] W [MSGID: 114031] [client-rpc-fops.c:2974:client3_3_lookup_cbk] 0-thevolume-client-1: remote operation failed. Path: / (00000000-0000-0000-0000-000000000001) [Transport endpoint is not connected]
[2016-05-04 14:43:17.781088] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_discover_cbk+0x3fc) [0x7f03b7965edc] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:17.781843] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_discover+0x14a) [0x7f03b795db3a] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:17.781937] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_discover+0x14a) [0x7f03b795db3a] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:17.784540] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_lookup+0x199) [0x7f03b795e1c9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:17.784576] W [fuse-bridge.c:467:fuse_entry_cbk] 0-glusterfs-fuse: 630384: LOOKUP() /magento/catalog/product/e/m/emmett_3seater_sierra_blue_lb5.jpg =&gt; -1 (Transport endpoint is not connected)
[2016-05-04 14:43:17.789047] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_lookup+0x199) [0x7f03b795e1c9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:17.789080] W [fuse-bridge.c:467:fuse_entry_cbk] 0-glusterfs-fuse: 630386: LOOKUP() /magento/catalog/product/e/m/emmett_3seater_sierra_blue_lb5_1.jpg =&gt; -1 (Transport endpoint is not connected)
[2016-05-04 14:43:17.792013] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_lookup+0x199) [0x7f03b795e1c9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:17.792047] W [fuse-bridge.c:467:fuse_entry_cbk] 0-glusterfs-fuse: 630388: LOOKUP() /magento/catalog/product/e/m/emmett_3seater_sierra_blue_lb6.jpg =&gt; -1 (Transport endpoint is not connected)
[2016-05-04 14:43:17.792272] E [MSGID: 114031] [client-rpc-fops.c:1676:client3_3_finodelk_cbk] 0-thevolume-client-1: remote operation failed [Transport endpoint is not connected]
[2016-05-04 14:43:17.794634] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_lookup+0x199) [0x7f03b795e1c9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:17.794664] W [fuse-bridge.c:467:fuse_entry_cbk] 0-glusterfs-fuse: 630390: LOOKUP() /magento/catalog/product/e/m/emmett_3seater_sierra_blue_lb6_1.jpg =&gt; -1 (Transport endpoint is not connected)
[2016-05-04 14:43:17.796674] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_discover+0x14a) [0x7f03b795db3a] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:17.796770] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_discover+0x14a) [0x7f03b795db3a] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:17.796923] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_discover+0x14a) [0x7f03b795db3a] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:17.799405] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_discover+0x14a) [0x7f03b795db3a] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:17.799580] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_lookup+0x199) [0x7f03b795e1c9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:17.799604] W [fuse-bridge.c:467:fuse_entry_cbk] 0-glusterfs-fuse: 630396: LOOKUP() /magento/catalog/product/e/m/emmett_3seater_sierra_blue_lb6_2.jpg =&gt; -1 (Transport endpoint is not connected)
[2016-05-04 14:43:17.801365] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_discover+0x14a) [0x7f03b795db3a] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:17.802111] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_discover+0x14a) [0x7f03b795db3a] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:17.818490] E [dht-helper.c:1597:dht_inode_ctx_time_update] (--&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/replicate.so(afr_discover+0x14a) [0x7f03b795db3a] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_lookup_dir_cbk+0x359) [0x7f03b76dc0f9] --&gt;/usr/lib64/glusterfs/3.7.11/xlator/cluster/distribute.so(dht_inode_ctx_time_update+0x210) [0x7f03b76b8b20] ) 0-thevolume-dht: invalid argument: inode [Invalid argument]
[2016-05-04 14:43:19.770865] E [MSGID: 114031] [client-rpc-fops.c:1676:client3_3_finodelk_cbk] 0-thevolume-client-2: remote operation failed [Transport endpoint is not connected]
[2016-05-04 14:43:19.770930] E [MSGID: 114031] [client-rpc-fops.c:1676:client3_3_finodelk_cbk] 0-thevolume-client-2: remote operation failed [Transport endpoint is not connected]
[2016-05-04 14:43:19.771811] E [MSGID: 114031] [client-rpc-fops.c:1676:client3_3_finodelk_cbk] 0-thevolume-client-1: remote operation failed [Invalid argument]
[2016-05-04 14:43:19.771852] E [MSGID: 108010] [afr-lk-common.c:665:afr_unlock_inodelk_cbk] 0-thevolume-replicate-0: path=(null) gfid=00000000-0000-0000-0000-000000000000: unlock failed on subvolume thevolume-client-1 with lock owner d03a00a8037f0000 [Invalid argument]
[2016-05-04 14:43:19.771878] W [fuse-bridge.c:1287:fuse_err_cbk] 0-glusterfs-fuse: 630361: FLUSH() ERR =&gt; -1 (Transport endpoint is not connected)
[2016-05-04 14:43:19.771937] E [MSGID: 114031] [client-rpc-fops.c:1676:client3_3_finodelk_cbk] 0-thevolume-client-1: remote operation failed [Invalid argument]
[2016-05-04 14:43:19.771959] E [MSGID: 108010] [afr-lk-common.c:665:afr_unlock_inodelk_cbk] 0-thevolume-replicate-0: path=(null) gfid=00000000-0000-0000-0000-000000000000: unlock failed on subvolume thevolume-client-1 with lock owner b43800a8037f0000 [Invalid argument]
[2016-05-04 14:43:19.771979] W [fuse-bridge.c:1287:fuse_err_cbk] 0-glusterfs-fuse: 630375: FLUSH() ERR =&gt; -1 (Transport endpoint is not connected)
The message &quot;W [MSGID: 114031] [client-rpc-fops.c:1917:client3_3_fxattrop_cbk] 0-thevolume-client-2: remote operation failed&quot; repeated 19 times between [2016-05-04 14:43:15.770856] and [2016-05-04 14:43:15.773223]</pre></div><div><br></div><div>The mounted volume becomes read only on the client only. The &quot;gluster&quot; volume is still writeable on the gluster servers.<br>gluster volume status does not report anything funky.</div><div>If I kill the glusterfs process on the client (the box that has gluster volume mounted via fuse), and then MOUNT again, I can carry on copying and writing, until I get those errors again.</div><div><br></div><div>I have successfully copied the same amount of data directly to the XFS volume on the glusterfs server nodes, I believe my XFS works.</div><div><br></div><div>All the machines are on AWS, and none of the resources are exhausted IO/RAM/CPU/NETWORK, not on client, not on gluster cluster.</div><div><br></div><div>Please help!<br><br><br></div></div></blockquote><div><br></div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>Posting the `gluster vol info` output for the volume will help everyone get a better picture about your volume (sanitize it to remove any sensitive information first).</div><div><br></div><div>Have you enabled any options on the volume, particularly any quorum options? Client-quorum makes a client read-only when it cannot connect to a quorum of servers (normally 50% of replica count +1 ).</div><div>You mount log shows that you&#39;ve had connections issue (a lot of &#39;Transport endpoint is not connected&#39; messages).</div><div>Can you verify that the network between the client and server isn&#39;t having problems when you see these errors?<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><br></div></div>
<br>_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/mailman/listinfo/gluster-users</a><br></blockquote></div><br></div></div>
</blockquote></div>
</div></div></blockquote></div></div></div></blockquote></div>