<br><br>On Friday 16 September 2016, Danny Lee &lt;<a href="mailto:dannyl@vt.edu">dannyl@vt.edu</a>&gt; wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div>Environment:</div><div>Gluster Version: 3.8.3</div><div>Operating System: CentOS Linux 7 (Core)</div><div>Kernel: Linux 3.10.0-327.28.3.el7.x86_64<br></div><div>Architecture: x86-64<br></div><div>Replicated 3-Node Volume</div><div>~400GB of around a million files</div><div><br></div><div>Description of Problem:</div><div>One of the brick dies.  The only suspect log I see is in the etc-glusterfs-glusterd.vol.log (shown below).  Trying to get an idea of why the brick died and how it could be prevented in the future.</div><div><br></div><div>During this time, I was forcing replication (find . | xargs stat on the mount).  There were some services starting up as well that was using the gluster mount.</div><div><br></div><div><div>[2016-09-13 20:01:50.033369] W [socket.c:590:__socket_rwv] 0-management: readv on /var/run/gluster/<wbr>cfc57a83cf77779864900aa08380be<wbr>93.socket failed (No data available)</div><div>[2016-09-13 20:01:50.033830] I [MSGID: 106005] [glusterd-handler.c:5050:__<wbr>glusterd_brick_rpc_notify] 0-management: Brick 172.17.32.28:/usr/local/<wbr>volname/local-data/mirrored-<wbr>data has disconnected from glusterd.</div><div>[2016-09-13 20:01:50.121316] W [rpcsvc.c:265:rpcsvc_program_<wbr>actor] 0-rpc-service: RPC program not available (req 1298437 330) for <a href="http://172.17.32.28:49146" target="_blank">172.17.32.28:49146</a></div><div>[2016-09-13 20:01:50.121339] E [rpcsvc.c:560:rpcsvc_check_<wbr>and_reply_error] 0-rpcsvc: rpc actor failed to complete successfully</div><div>[2016-09-13 20:01:50.121383] W [rpcsvc.c:265:rpcsvc_program_<wbr>actor] 0-rpc-service: RPC program not available (req 1298437 330) for <a href="http://172.17.32.28:49146" target="_blank">172.17.32.28:49146</a></div><div>[2016-09-13 20:01:50.121392] E [rpcsvc.c:560:rpcsvc_check_<wbr>and_reply_error] 0-rpcsvc: rpc actor failed to complete successfully</div></div></div></blockquote><div><br></div><div>I haven&#39;t checked the code yet, but at a <span></span>guess a brick op (in transit) failed here when the brick went down.</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>The message &quot;I [MSGID: 106005] [glusterd-handler.c:5050:__<wbr>glusterd_brick_rpc_notify] 0-management: Brick 172.17.32.28:/usr/local/<wbr>volname/local-data/mirrored-<wbr>data has disconnected from glusterd.&quot; repeated 34 times between [2016-09-13 20:01:50.033830] and [2016-09-13 20:03:40.010862]</div></div></div>
</blockquote><br><br>-- <br>--Atin<br>