<div><div style="font-family: 'lucida Grande', Verdana; line-height: normal;">Hi:</div><div style="font-family: 'lucida Grande', Verdana; line-height: normal;"><br></div><div style="font-family: 'lucida Grande', Verdana; line-height: normal;"><div>I'v been experiencing an intermittent issue with GlusterFS in 30 nodes cluster which makes the mounted file system unavailable through the GlusterFS client.</div><div><br></div><div>The symptom is:</div><div><br></div><div>$ ls /gluster</div><div>ls: cannot access /gluster: Transport endpoint is not connected</div><div><br></div><div>the client log reports the following error:</div><div><br></div><div>[2016-08-09 23:25:36.012877] E [iobuf.c:759:iobuf_unref] (--&gt; /usr/lib64/libglusterfs.so.0(_gf_log_callingfn+0x1e0)[0x371a220580] (--&gt; /usr/li</div><div>b64/glusterfs/3.6.7/xlator/performance/quick-read.so(qr_readv_cached+0xb7)[0x7ff57f318ea7] (--&gt; /usr/lib64/glusterfs/3.6.7/xlator/performance/</div><div>quick-read.so(qr_readv+0x62)[0x7ff57f3194c2] (--&gt; /usr/lib64/libglusterfs.so.0(default_readv_resume+0x14d)[0x371a22a75d] (--&gt; /usr/lib64/libgl</div><div>usterfs.so.0(call_resume+0x3d6)[0x371a2424b6] ))))) 0-iobuf: invalid argument: iobuf</div><div>[2016-08-09 23:25:36.013192] E [iobuf.c:865:iobref_unref] (--&gt; /usr/lib64/libglusterfs.so.0(_gf_log_callingfn+0x1e0)[0x371a220580] (--&gt; /usr/l</div><div>ib64/glusterfs/3.6.7/xlator/performance/quick-read.so(qr_readv_cached+0xc1)[0x7ff57f318eb1] (--&gt; /usr/lib64/glusterfs/3.6.7/xlator/performance</div><div>/quick-read.so(qr_readv+0x62)[0x7ff57f3194c2] (--&gt; /usr/lib64/libglusterfs.so.0(default_readv_resume+0x14d)[0x371a22a75d] (--&gt; /usr/lib64/libg</div><div>lusterfs.so.0(call_resume+0x3d6)[0x371a2424b6] ))))) 0-iobuf: invalid argument: iobref</div><div><br></div><div>seems to me it's the out-of-memory issue.</div><div><br></div><div><br></div><div>info: glusterfs is configured as follows</div><div><br></div><div>performance.io-thread-count: 4</div><div>performance.cache-max-file-size: 0</div><div>performance.write-behind-window-size: 64MB</div><div>performance.cache-size: 4GB</div><div>cluster.consistent-metadata: on</div><div><br></div><div>and each node in cluster are deployed both glusterfs client and server.</div><div><br></div><div><br></div><div><span style="line-height: 1.5;">is there any way to ease the above issue via modify configuration? such as increase cache-size, or some other paramters?</span></div></div><div style="font-family: 'lucida Grande', Verdana; line-height: normal;"><span style="line-height: 1.5;"><br></span></div><div style="font-family: 'lucida Grande', Verdana; line-height: normal;">thx.</div></div><div><tincludetail></tincludetail></div><!--<![endif]-->