<html><head><style type='text/css'>p { margin: 0; }</style></head><body><div style='font-family: Arial; font-size: 10pt; color: #000000'><div><font face="Arial"><span style="font-size: 13.3333330154419px;">Folks,</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;"><br></span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">We have a server who's glustershd.log log is gigs in size and rising. The cluster looks healthy and file replication is working fine between all nodes, but one node is continually writing errors.</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;"><br></span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">Any ideas?</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;"><br></span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.171692] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-0: remote operation failed: No such file or directory. Path: &lt;gfid:028dc1a8-138e-4ed2-a114-12d707c70c79&gt; (028dc1a8-138e-4ed2-a114-12d707c70c79)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.171756] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-1: remote operation failed: No such file or directory. Path: &lt;gfid:028dc1a8-138e-4ed2-a114-12d707c70c79&gt; (028dc1a8-138e-4ed2-a114-12d707c70c79)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.171809] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-2: remote operation failed: No such file or directory. Path: &lt;gfid:028dc1a8-138e-4ed2-a114-12d707c70c79&gt; (028dc1a8-138e-4ed2-a114-12d707c70c79)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.172178] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-1: remote operation failed: No such file or directory. Path: &lt;gfid:3fd6837f-55a4-4d02-b568-1a4c2c23e8a9&gt; (3fd6837f-55a4-4d02-b568-1a4c2c23e8a9)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.172233] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-0: remote operation failed: No such file or directory. Path: &lt;gfid:3fd6837f-55a4-4d02-b568-1a4c2c23e8a9&gt; (3fd6837f-55a4-4d02-b568-1a4c2c23e8a9)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.172284] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-2: remote operation failed: No such file or directory. Path: &lt;gfid:3fd6837f-55a4-4d02-b568-1a4c2c23e8a9&gt; (3fd6837f-55a4-4d02-b568-1a4c2c23e8a9)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.172650] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-0: remote operation failed: No such file or directory. Path: &lt;gfid:4bec2fff-5c5f-4486-909d-bedb5a609ee8&gt; (4bec2fff-5c5f-4486-909d-bedb5a609ee8)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.172706] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-1: remote operation failed: No such file or directory. Path: &lt;gfid:4bec2fff-5c5f-4486-909d-bedb5a609ee8&gt; (4bec2fff-5c5f-4486-909d-bedb5a609ee8)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.172753] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-2: remote operation failed: No such file or directory. Path: &lt;gfid:4bec2fff-5c5f-4486-909d-bedb5a609ee8&gt; (4bec2fff-5c5f-4486-909d-bedb5a609ee8)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.173114] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-0: remote operation failed: No such file or directory. Path: &lt;gfid:7afb4663-1448-4d25-8511-fd3dc5a1acc3&gt; (7afb4663-1448-4d25-8511-fd3dc5a1acc3)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.173180] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-1: remote operation failed: No such file or directory. Path: &lt;gfid:7afb4663-1448-4d25-8511-fd3dc5a1acc3&gt; (7afb4663-1448-4d25-8511-fd3dc5a1acc3)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.173229] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-2: remote operation failed: No such file or directory. Path: &lt;gfid:7afb4663-1448-4d25-8511-fd3dc5a1acc3&gt; (7afb4663-1448-4d25-8511-fd3dc5a1acc3)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.174018] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-0: remote operation failed: No such file or directory. Path: &lt;gfid:0039a6df-890a-410b-82c8-60d0882d9d6b&gt; (0039a6df-890a-410b-82c8-60d0882d9d6b)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.174071] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-1: remote operation failed: No such file or directory. Path: &lt;gfid:0039a6df-890a-410b-82c8-60d0882d9d6b&gt; (0039a6df-890a-410b-82c8-60d0882d9d6b)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;">[2015-05-15 11:43:46.174117] W [client-rpc-fops.c:2766:client3_3_lookup_cbk] 0-my_filestore_vol-client-2: remote operation failed: No such file or directory. Path: &lt;gfid:0039a6df-890a-410b-82c8-60d0882d9d6b&gt; (0039a6df-890a-410b-82c8-60d0882d9d6b)</span></font></div><div><font face="Arial"><span style="font-size: 13.3333330154419px;"><br></span></font></div><div><font size="2" face="arial, helvetica, sans-serif">gluster vol info</font></div><div><font size="2" face="arial, helvetica, sans-serif"><br></font></div><div><font size="2" face="arial, helvetica, sans-serif">Volume Name: my_filestore_vol</font></div><div><font size="2" face="arial, helvetica, sans-serif">Type: Replicate</font></div><div><font size="2" face="arial, helvetica, sans-serif">Volume ID: 25951af0-005d-47a2-92a4-7babfbe9437e</font></div><div><font size="2" face="arial, helvetica, sans-serif">Status: Started</font></div><div><font size="2" face="arial, helvetica, sans-serif">Number of Bricks: 1 x 3 = 3</font></div><div><font size="2" face="arial, helvetica, sans-serif">Transport-type: tcp</font></div><div><font size="2" face="arial, helvetica, sans-serif">Bricks:</font></div><div><font size="2" face="arial, helvetica, sans-serif">Brick1: host01:/export/brick0</font></div><div><font size="2" face="arial, helvetica, sans-serif">Brick2: host02:/export/brick0</font></div><div><font size="2" face="arial, helvetica, sans-serif">Brick3: host03:/export/brick0</font></div><div><div><div><font size="2" face="arial, helvetica, sans-serif"><br></font></div></div><div><div><font size="2" face="arial, helvetica, sans-serif">gluster vol status</font></div><div><font size="2" face="arial, helvetica, sans-serif"><br></font></div><div><font size="2" face="arial, helvetica, sans-serif">Status of volume: my_filestore_vol</font></div><div><font size="2" face="arial, helvetica, sans-serif">Gluster process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Port &nbsp; &nbsp;Online &nbsp;Pid</font></div><div><font size="2" face="arial, helvetica, sans-serif">------------------------------------------------------------------------------</font></div><div><font size="2" face="arial, helvetica, sans-serif">Brick host01:/export/brick0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 49152 &nbsp; Y &nbsp; &nbsp; &nbsp; 2628</font></div><div><font size="2" face="arial, helvetica, sans-serif">Brick host02:/export/brick0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 49152 &nbsp; Y &nbsp; &nbsp; &nbsp; 2049</font></div><div><font size="2" face="arial, helvetica, sans-serif">Brick host03:/export/brick0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 49152 &nbsp; Y &nbsp; &nbsp; &nbsp; 2163</font></div><div><font size="2" face="arial, helvetica, sans-serif">NFS Server on localhost &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2049 &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 2637</font></div><div><font size="2" face="arial, helvetica, sans-serif">Self-heal Daemon on localhost &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; N/A &nbsp; &nbsp; Y &nbsp; &nbsp; &nbsp; 2642</font></div><div><font size="2" face="arial, helvetica, sans-serif">NFS Server on host03 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;2049 &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 2172</font></div><div><font size="2" face="arial, helvetica, sans-serif">Self-heal Daemon on host03 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;N/A &nbsp; &nbsp; Y &nbsp; &nbsp; &nbsp; 2177</font></div><div><font size="2" face="arial, helvetica, sans-serif">NFS Server on host02 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;2049 &nbsp; &nbsp;Y &nbsp; &nbsp; &nbsp; 2058</font></div><div><font size="2" face="arial, helvetica, sans-serif">Self-heal Daemon on host02 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;N/A &nbsp; &nbsp; Y &nbsp; &nbsp; &nbsp; 2063</font></div><div><font size="2" face="arial, helvetica, sans-serif"><br></font></div><div><font size="2" face="arial, helvetica, sans-serif">Task Status of Volume my_filestore_vol</font></div><div><font size="2" face="arial, helvetica, sans-serif">------------------------------------------------------------------------------</font></div></div><div><br></div><br><div style="color: rgb(0, 0, 0); font-family: Arial; font-size: 10pt;"><span name="x"></span><font face="arial, helvetica, sans-serif" size="2">ALUN JAMES<br><font>Senior Systems Engineer</font><br><font>Tibus</font><br><br><font>T: +44 (0)28 9033 1122</font><br><font>E: ajames@tibus.com</font><br><font>W: </font><a href="http://www.tibus.com">www.tibus.com</a><br><br><font>Follow us on Twitter </font><a href="http://twitter.com/intent/user?screen_name=tibus">@tibus</a><br><br><font>Tibus is a trading name of The Internet Business Ltd, a company limited by share capital and registered in Northern Ireland, NI31235. It is part of UTV Media Plc.</font><br><br><font>This email and any attachment may contain confidential information for the sole use of the intended recipient. Any review, use, distribution or disclosure by others is strictly prohibited. If you are not the intended recipient (or authorised to receive for the recipient), please contact the sender by reply email and delete all copies of this message. &nbsp; &nbsp; </font></font><span name="x"></span><br></div></div></div></body></html>