<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On 13 July 2015 at 19:06, Atin Mukherjee <span dir="ltr">&lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div class=""><div class="h5"><br>
<br>
On 07/13/2015 10:29 PM, Tiemen Ruiten wrote:<br>
&gt; OK, I found what&#39;s wrong. From the brick&#39;s log:<br>
&gt;<br>
&gt; [2015-07-12 02:32:01.542934] I [glusterfsd-mgmt.c:1512:mgmt_getspec_cbk]<br>
&gt; 0-glusterfs: No change in volfile, continuing<br>
&gt; [2015-07-13 14:21:06.722675] W [glusterfsd.c:1219:cleanup_and_exit] (--&gt;<br>
&gt; 0-: received signum (15), shutting down<br>
&gt; [2015-07-13 14:21:35.168750] I [MSGID: 100030] [glusterfsd.c:2294:main]<br>
&gt; 0-/usr/sbin/glusterfsd: Started running /usr/sbin/glusterfsd version 3.7.1<br>
&gt; (args: /usr/sbin/glusterfsd -s 10.100.3.10 --volfile-id<br>
&gt; vmimage.10.100.3.10.export-gluster01-brick -p<br>
&gt; /var/lib/glusterd/vols/vmimage/run/10.100.3.10-export-gluster01-brick.pid<br>
&gt; -S /var/run/gluster/2bfe3a2242d586d0850775f601f1c3ee.socket --brick-name<br>
&gt; /export/gluster01/brick -l<br>
&gt; /var/log/glusterfs/bricks/export-gluster01-brick.log --xlator-option<br>
&gt; *-posix.glusterd-uuid=26186ec6-a8c7-4834-bcaa-24e30289dba3 --brick-port<br>
&gt; 49153 --xlator-option vmimage-server.listen-port=49153)<br>
&gt; [2015-07-13 14:21:35.178558] E [socket.c:823:__socket_server_bind]<br>
&gt; 0-socket.glusterfsd: binding to  failed: Address already in use<br>
&gt; [2015-07-13 14:21:35.178624] E [socket.c:826:__socket_server_bind]<br>
&gt; 0-socket.glusterfsd: Port is already in use<br>
&gt; [2015-07-13 14:21:35.178649] W [rpcsvc.c:1602:rpcsvc_transport_create]<br>
&gt; 0-rpc-service: listening on transport failed<br>
&gt;<br>
&gt;<br>
&gt; ps aux | grep gluster<br>
&gt; root      6417  0.0  0.2 753080 175016 ?       Ssl  May21  25:25<br>
&gt; /usr/sbin/glusterfs --volfile-server=10.100.3.10 --volfile-id=/wwwdata<br>
&gt; /mnt/gluster/web/wwwdata<br>
&gt; root      6742  0.0  0.0 622012 17624 ?        Ssl  May21  22:31<br>
&gt; /usr/sbin/glusterfs --volfile-server=10.100.3.10 --volfile-id=/conf<br>
&gt; /mnt/gluster/conf<br>
&gt; root     36575  0.2  0.0 589956 19228 ?        Ssl  16:21   0:19<br>
&gt; /usr/sbin/glusterd --pid-file=/run/glusterd.pid<br>
&gt; root     36720  0.0  0.0 565140 55836 ?        Ssl  16:21   0:02<br>
&gt; /usr/sbin/glusterfs -s localhost --volfile-id gluster/nfs -p<br>
&gt; /var/lib/glusterd/nfs/run/nfs.pid -l /var/log/glusterfs/nfs.log -S<br>
&gt; /var/run/gluster/8b9ce8bebfa8c1d2fabb62654bdc550e.socket<br>
&gt; root     36730  0.0  0.0 451016 22936 ?        Ssl  16:21   0:01<br>
&gt; /usr/sbin/glusterfs -s localhost --volfile-id gluster/glustershd -p<br>
&gt; /var/lib/glusterd/glustershd/run/glustershd.pid -l<br>
&gt; /var/log/glusterfs/glustershd.log -S<br>
&gt; /var/run/gluster/c0d7454986c96eef463d028dc8bce9fe.socket --xlator-option<br>
&gt; *replicate*.node-uuid=26186ec6-a8c7-4834-bcaa-24e30289dba3<br>
&gt; root     37398  0.0  0.0 103248   916 pts/2    S+   18:49   0:00 grep<br>
&gt; gluster<br>
&gt; root     40058  0.0  0.0 755216 60212 ?        Ssl  May21  22:06<br>
&gt; /usr/sbin/glusterfs --volfile-server=10.100.3.10 --volfile-id=/fl-webroot<br>
&gt; /mnt/gluster/web/flash/webroot<br>
&gt;<br>
&gt; So several leftover processes. What will happen if I do a<br>
&gt;<br>
&gt; /etc/init.d/glusterd stop<br>
&gt; /etc/init.d/glusterfsd stop<br>
&gt;<br>
&gt; kill all remaining gluster processes and restart gluster on this node?<br>
&gt;<br>
&gt; Will the volume stay online? What about split-brain? I suppose it would be<br>
&gt; best to disconnect all clients first...?<br>
</div></div>Can you double check if any brick process is already running, if so kill<br>
it and try &#39;gluster volume start &lt;volname&gt; force&#39;<br>
<div><div class="h5">&gt;<br>
&gt;<br>
&gt; On 13 July 2015 at 18:25, Tiemen Ruiten &lt;<a href="mailto:t.ruiten@rdmedia.com">t.ruiten@rdmedia.com</a>&gt; wrote:<br>
&gt;<br>
&gt;&gt; Hello,<br>
&gt;&gt;<br>
&gt;&gt; We have a two-node gluster cluster, running version 3.7.1, that hosts an<br>
&gt;&gt; oVirt storage domain. This afternoon I tried creating a template in oVirt,<br>
&gt;&gt; but within a minute VM&#39;s stopped responding and Gluster started generating<br>
&gt;&gt; errors like the following:<br>
&gt;&gt;<br>
&gt;&gt; [2015-07-13 14:09:51.772629] W [rpcsvc.c:270:rpcsvc_program_actor]<br>
&gt;&gt; 0-rpc-service: RPC program not available (req 1298437 330) for<br>
&gt;&gt; <a href="http://10.100.3.40:1021" rel="noreferrer" target="_blank">10.100.3.40:1021</a><br>
&gt;&gt; [2015-07-13 14:09:51.772675] E [rpcsvc.c:565:rpcsvc_check_and_reply_error]<br>
&gt;&gt; 0-rpcsvc: rpc actor failed to complete successfully<br>
&gt;&gt;<br>
&gt;&gt; I managed to get things in working order again by restarting glusterd and<br>
&gt;&gt; glusterfsd, but now one brick is down:<br>
&gt;&gt;<br>
&gt;&gt; $sudo gluster volume status vmimage<br>
&gt;&gt; Status of volume: vmimage<br>
&gt;&gt; Gluster process                             TCP Port  RDMA Port  Online<br>
&gt;&gt;  Pid<br>
&gt;&gt;<br>
&gt;&gt; ------------------------------------------------------------------------------<br>
&gt;&gt; Brick 10.100.3.10:/export/gluster01/brick   N/A       N/A        N<br>
&gt;&gt; 36736<br>
&gt;&gt; Brick 10.100.3.11:/export/gluster01/brick   49153     0          Y<br>
&gt;&gt; 11897<br>
&gt;&gt; NFS Server on localhost                     2049      0          Y<br>
&gt;&gt; 36720<br>
&gt;&gt; Self-heal Daemon on localhost               N/A       N/A        Y<br>
&gt;&gt; 36730<br>
&gt;&gt; NFS Server on 10.100.3.11                   2049      0          Y<br>
&gt;&gt; 11919<br>
&gt;&gt; Self-heal Daemon on 10.100.3.11             N/A       N/A        Y<br>
&gt;&gt; 11924<br>
&gt;&gt;<br>
&gt;&gt; Task Status of Volume vmimage<br>
&gt;&gt;<br>
&gt;&gt; ------------------------------------------------------------------------------<br>
&gt;&gt; There are no active volume tasks<br>
&gt;&gt;<br>
&gt;&gt; $ sudo gluster peer status<br>
&gt;&gt; Number of Peers: 1<br>
&gt;&gt;<br>
&gt;&gt; Hostname: 10.100.3.11<br>
&gt;&gt; Uuid: f9872fea-47f5-41f6-8094-c9fabd3c1339<br>
&gt;&gt; State: Peer in Cluster (Connected)<br>
&gt;&gt;<br>
&gt;&gt; Additionally in the etc-glusterfs-glusterd.vol.log I see these messages<br>
&gt;&gt; repeating every 3 seconds:<br>
&gt;&gt;<br>
&gt;&gt; [2015-07-13 16:15:21.737044] W [socket.c:642:__socket_rwv] 0-management:<br>
&gt;&gt; readv on /var/run/gluster/2bfe3a2242d586d0850775f601f1c3ee.socket failed<br>
&gt;&gt; (Invalid argument)<br>
&gt;&gt; The message &quot;I [MSGID: 106005]<br>
&gt;&gt; [glusterd-handler.c:4667:__glusterd_brick_rpc_notify] 0-management: Brick<br>
&gt;&gt; 10.100.3.10:/export/gluster01/brick has disconnected from glusterd.&quot;<br>
&gt;&gt; repeated 39 times between [2015-07-13 16:13:24.717611] and [2015-07-13<br>
&gt;&gt; 16:15:21.737862]<br>
&gt;&gt; [2015-07-13 16:15:24.737694] W [socket.c:642:__socket_rwv] 0-management:<br>
&gt;&gt; readv on /var/run/gluster/2bfe3a2242d586d0850775f601f1c3ee.socket failed<br>
&gt;&gt; (Invalid argument)<br>
&gt;&gt; [2015-07-13 16:15:24.738498] I [MSGID: 106005]<br>
&gt;&gt; [glusterd-handler.c:4667:__glusterd_brick_rpc_notify] 0-management: Brick<br>
&gt;&gt; 10.100.3.10:/export/gluster01/brick has disconnected from glusterd.<br>
&gt;&gt; [2015-07-13 16:15:27.738194] W [socket.c:642:__socket_rwv] 0-management:<br>
&gt;&gt; readv on /var/run/gluster/2bfe3a2242d586d0850775f601f1c3ee.socket failed<br>
&gt;&gt; (Invalid argument)<br>
&gt;&gt; [2015-07-13 16:15:30.738991] W [socket.c:642:__socket_rwv] 0-management:<br>
&gt;&gt; readv on /var/run/gluster/2bfe3a2242d586d0850775f601f1c3ee.socket failed<br>
&gt;&gt; (Invalid argument)<br>
&gt;&gt; [2015-07-13 16:15:33.739735] W [socket.c:642:__socket_rwv] 0-management:<br>
&gt;&gt; readv on /var/run/gluster/2bfe3a2242d586d0850775f601f1c3ee.socket failed<br>
&gt;&gt; (Invalid argument)<br>
&gt;&gt;<br>
&gt;&gt; Can I get this brick back up without bringing the volume/cluster down?<br>
&gt;&gt;<br>
&gt;&gt; --<br>
&gt;&gt; Tiemen Ruiten<br>
&gt;&gt; Systems Engineer<br>
&gt;&gt; R&amp;D Media<br>
&gt;&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
</div></div>&gt; _______________________________________________<br>
&gt; Gluster-users mailing list<br>
&gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt; <a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt;<br>
<span class=""><font color="#888888"><br>
--<br>
~Atin<br>
</font></span></blockquote></div><br><br clear="all"><div>Hi Atin,<div><br></div><div>I see brick processes for volumes wwwdata, conf and fl-webroot, judging from the ps aux | grep gluster output. These volumes are not started. No brick process for vmimage. So you&#39;re saying, kill those brick processes, then gluster volume start vmimage force?</div><div><br></div><div>Thank you for  your response.</div></div><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">Tiemen Ruiten<br>Systems Engineer<br>R&amp;D Media<br></div></div>
</div></div>