<div dir="ltr">Hi Atin,<div><br></div><div>Earlier i was adding the brick and create the volume through ovirt itself....this time i did it through commandline...i added all 15 bricks 5*3 through command line....</div><div><br></div><div>It seems before optimize for virt storage it all ok...but after that one quorum start and it failed the whole...</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jul 20, 2015 at 3:07 PM, Atin Mukherjee <span dir="ltr">&lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">In one of your earlier email you mentioned that after adding a brick<br>
volume status stopped working. Can you point me to the glusterd log for<br>
that transaction?<br>
<br>
~Atin<br>
<span class=""><br>
On 07/20/2015 12:11 PM, Punit Dambiwal wrote:<br>
&gt; Hi Atin,<br>
&gt;<br>
&gt; Please find the below details :-<br>
&gt;<br>
&gt; [image: Inline image 1]<br>
&gt;<br>
&gt; [image: Inline image 2]<br>
&gt;<br>
&gt; Now when i set the optimize for the virt storage under ovirt and restart<br>
&gt; glusterd service on any node...it start failing the quorum..<br>
&gt;<br>
&gt; [image: Inline image 3]<br>
&gt;<br>
&gt; [image: Inline image 4]<br>
&gt;<br>
&gt; Thanks,<br>
&gt; Punit<br>
&gt;<br>
</span><span class="">&gt; On Mon, Jul 20, 2015 at 10:44 AM, Punit Dambiwal &lt;<a href="mailto:hypunit@gmail.com">hypunit@gmail.com</a>&gt; wrote:<br>
&gt;<br>
&gt;&gt; HI Atin,<br>
&gt;&gt;<br>
&gt;&gt; Apologies for the delay response...<br>
&gt;&gt;<br>
&gt;&gt; 1. When you added the brick was the command successful?<br>
&gt;&gt;&gt;&gt; Yes..it was successful..<br>
&gt;&gt; 2. If volume status is failing what&#39;s output its throwing in the console<br>
&gt;&gt; and how about the glusterd log?<br>
&gt;&gt;&gt;&gt; I will reproduce the issue again and update you..<br>
&gt;&gt;<br>
</span>&gt;&gt; On Mon, Jul 13, 2015 at 11:46 AM, Atin Mukherjee &lt;<a href="mailto:amukherj@redhat.com">amukherj@redhat.com</a>&gt;<br>
<span class="">&gt;&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; On 07/13/2015 05:19 AM, Punit Dambiwal wrote:<br>
&gt;&gt;&gt;&gt; Hi Sathees,<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; With 3 bricks i can get the gluster volume status....but after added<br>
&gt;&gt;&gt; more<br>
&gt;&gt;&gt;&gt; bricks....can not get gluster volume status....<br>
&gt;&gt;&gt; The information is still incomplete in respect to analyze the problem.<br>
&gt;&gt;&gt; Further questions:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; 1. When you added the brick was the command successful?<br>
&gt;&gt;&gt; 2. If volume status is failing what&#39;s output its throwing in the console<br>
&gt;&gt;&gt; and how about the glusterd log?<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; ~Atin<br>
&gt;&gt;&gt;&gt;<br>
</span>&gt;&gt;&gt;&gt; On Sun, Jul 12, 2015 at 11:09 AM, SATHEESARAN &lt;<a href="mailto:sasundar@redhat.com">sasundar@redhat.com</a>&gt;<br>
<div class="HOEnZb"><div class="h5">&gt;&gt;&gt; wrote:<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; On 07/11/2015 02:46 PM, Atin Mukherjee wrote:<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; On 07/10/2015 03:03 PM, Punit Dambiwal wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; I have deployed one replica 3 storage...but i am facing some issue<br>
&gt;&gt;&gt; with<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; quorum...<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Let me elaborate more :-<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; 1. I have 3 node machines and every machine has 5 HDD(Bricks)...No<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; RAID...Just JBOD...<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2. Gluster working fine when just add 3 HDD as below :-<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; B HDD from server 1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; B HDD from server 2<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; B HDD from server 3<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; But when i add more bricks as below :-<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; -----------------------<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; [root@stor1 ~]# gluster volume info<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Volume Name: 3TB<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Type: Distributed-Replicate<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Volume ID: 5be9165c-3402-4083-b3db-b782da2fb8d8<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Status: Stopped<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Number of Bricks: 5 x 3 = 15<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Transport-type: tcp<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Bricks:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick1: stor1:/bricks/b/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick2: stor2:/bricks/b/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick3: stor3:/bricks/b/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick4: stor1:/bricks/c/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick5: stor2:/bricks/c/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick6: stor3:/bricks/c/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick7: stor1:/bricks/d/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick8: stor2:/bricks/d/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick9: stor3:/bricks/d/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick10: stor1:/bricks/e/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick11: stor2:/bricks/e/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick12: stor3:/bricks/e/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick13: stor1:/bricks/f/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick14: stor2:/bricks/f/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick15: stor3:/bricks/f/vol1<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Options Reconfigured:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; nfs.disable: off<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; user.cifs: enable<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; auth.allow: *<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.quick-read: off<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.read-ahead: off<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.io-cache: off<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.stat-prefetch: off<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; cluster.eager-lock: enable<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; network.remote-dio: enable<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; cluster.quorum-type: auto<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; cluster.server-quorum-type: server<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; storage.owner-uid: 36<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; storage.owner-gid: 36<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; --------------------------------<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick added successfully without any error but after 1 min quorum<br>
&gt;&gt;&gt; failed<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; and gluster stop working...<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Punit,<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; And what do you mean by quorum failed ?<br>
&gt;&gt;&gt;&gt;&gt; What is effect that you are seeing ?<br>
&gt;&gt;&gt;&gt;&gt; Could you provide output of &#39;gluster volume status&#39; as well ?<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; -- Sathees<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;  What do log files say?<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thanks,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Punit<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; _______________________________________________<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Gluster-users mailing list<br>
</div></div><div class="HOEnZb"><div class="h5">&gt;&gt;&gt;&gt;&gt;&gt;&gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; <a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; --<br>
&gt;&gt;&gt; ~Atin<br>
&gt;&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;<br>
<br>
</div></div><span class="HOEnZb"><font color="#888888">--<br>
~Atin<br>
</font></span></blockquote></div><br></div>