<div dir="ltr">Hi Atin,<div><br></div><div>Yes..Now i reproduce the problem again...with only 3 bricks it&#39;s working fine...</div><div><br></div><div><img src="cid:ii_14eae83727e8b86a" alt="Inline image 1" width="558" height="239"><br></div><div><img src="cid:ii_14eae847a63d7be4" alt="Inline image 2" width="416" height="381"><br></div><div><br></div><div>Now when i added more 6 bricks in to the same volume..bricks added successfully,but after adding the bricks the type of the volume has been chaned from replicate to distributed replicate...</div><div><br></div><div><img src="cid:ii_14eaea47f581b292" alt="Inline image 3" width="411" height="468"><br></div><div><br></div><div>Is there any body can help me in this...now it&#39;s more and more complex..</div><div><br></div><div>Thanks,</div><div>Punit</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jul 20, 2015 at 5:12 PM, Ramesh Nachimuthu <span dir="ltr">&lt;<a href="mailto:rnachimu@redhat.com" target="_blank">rnachimu@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
  
    
  
  <div text="#000000" bgcolor="#FFFFFF"><span class="">
    <br>
    <br>
    <div>On 07/20/2015 12:44 PM, Punit Dambiwal
      wrote:<br>
    </div>
    </span><blockquote type="cite">
      <div dir="ltr">Hi Atin,
        <div><br>
        </div><span class="">
        <div>Earlier i was adding the brick and create the volume
          through ovirt itself....this time i did it through
          commandline...i added all 15 bricks 5*3 through command
          line....</div>
        <div><br>
        </div>
        <div>It seems before optimize for virt storage it all ok...but
          after that one quorum start and it failed the whole...</div>
      </span></div>
      <div class="gmail_extra"><br>
      </div>
    </blockquote>
    <br>
    &quot;Optimize for Virt&quot; action in oVirt sets the following volume
    options. <br>
    <br>
    group = &gt; virt<br>
    storage.owner-uid =&gt; 36<br>
    storage.owner-gid =&gt; 36<br>
    server.allow-insecure =&gt; on<br>
    network.ping-timeout =&gt; 10<br>
    <br>
    Regards,<br>
    Ramesh<br>
    <br>
    <blockquote type="cite">
      <div class="gmail_extra">
        <div class="gmail_quote"><div><div class="h5">On Mon, Jul 20, 2015 at 3:07 PM, Atin
          Mukherjee <span dir="ltr">&lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt;</span>
          wrote:<br>
          </div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5">In one of
            your earlier email you mentioned that after adding a brick<br>
            volume status stopped working. Can you point me to the
            glusterd log for<br>
            that transaction?<br>
            <br>
            ~Atin<br>
            <span><br>
              On 07/20/2015 12:11 PM, Punit Dambiwal wrote:<br>
              &gt; Hi Atin,<br>
              &gt;<br>
              &gt; Please find the below details :-<br>
              &gt;<br>
              &gt; [image: Inline image 1]<br>
              &gt;<br>
              &gt; [image: Inline image 2]<br>
              &gt;<br>
              &gt; Now when i set the optimize for the virt storage
              under ovirt and restart<br>
              &gt; glusterd service on any node...it start failing the
              quorum..<br>
              &gt;<br>
              &gt; [image: Inline image 3]<br>
              &gt;<br>
              &gt; [image: Inline image 4]<br>
              &gt;<br>
              &gt; Thanks,<br>
              &gt; Punit<br>
              &gt;<br>
            </span><span>&gt; On Mon, Jul 20, 2015 at 10:44 AM,
              Punit Dambiwal &lt;<a href="mailto:hypunit@gmail.com" target="_blank">hypunit@gmail.com</a>&gt;
              wrote:<br>
              &gt;<br>
              &gt;&gt; HI Atin,<br>
              &gt;&gt;<br>
              &gt;&gt; Apologies for the delay response...<br>
              &gt;&gt;<br>
              &gt;&gt; 1. When you added the brick was the command
              successful?<br>
              &gt;&gt;&gt;&gt; Yes..it was successful..<br>
              &gt;&gt; 2. If volume status is failing what&#39;s output its
              throwing in the console<br>
              &gt;&gt; and how about the glusterd log?<br>
              &gt;&gt;&gt;&gt; I will reproduce the issue again and
              update you..<br>
              &gt;&gt;<br>
            </span>&gt;&gt; On Mon, Jul 13, 2015 at 11:46 AM, Atin
            Mukherjee &lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt;<br>
            <span>&gt;&gt; wrote:<br>
              &gt;&gt;<br>
              &gt;&gt;&gt;<br>
              &gt;&gt;&gt;<br>
              &gt;&gt;&gt; On 07/13/2015 05:19 AM, Punit Dambiwal wrote:<br>
              &gt;&gt;&gt;&gt; Hi Sathees,<br>
              &gt;&gt;&gt;&gt;<br>
              &gt;&gt;&gt;&gt; With 3 bricks i can get the gluster
              volume status....but after added<br>
              &gt;&gt;&gt; more<br>
              &gt;&gt;&gt;&gt; bricks....can not get gluster volume
              status....<br>
              &gt;&gt;&gt; The information is still incomplete in
              respect to analyze the problem.<br>
              &gt;&gt;&gt; Further questions:<br>
              &gt;&gt;&gt;<br>
              &gt;&gt;&gt; 1. When you added the brick was the command
              successful?<br>
              &gt;&gt;&gt; 2. If volume status is failing what&#39;s output
              its throwing in the console<br>
              &gt;&gt;&gt; and how about the glusterd log?<br>
              &gt;&gt;&gt;<br>
              &gt;&gt;&gt; ~Atin<br>
              &gt;&gt;&gt;&gt;<br>
            </span>&gt;&gt;&gt;&gt; On Sun, Jul 12, 2015 at 11:09 AM,
            SATHEESARAN &lt;<a href="mailto:sasundar@redhat.com" target="_blank">sasundar@redhat.com</a>&gt;<br>
            <div>
              <div>&gt;&gt;&gt; wrote:<br>
                &gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt; On 07/11/2015 02:46 PM, Atin
                Mukherjee wrote:<br>
                &gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt; On 07/10/2015 03:03 PM, Punit
                Dambiwal wrote:<br>
                &gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi,<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; I have deployed one replica
                3 storage...but i am facing some issue<br>
                &gt;&gt;&gt; with<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; quorum...<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Let me elaborate more :-<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; 1. I have 3 node machines
                and every machine has 5 HDD(Bricks)...No<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; RAID...Just JBOD...<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; 2. Gluster working fine
                when just add 3 HDD as below :-<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; B HDD from server 1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; B HDD from server 2<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; B HDD from server 3<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; But when i add more bricks
                as below :-<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; -----------------------<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; [root@stor1 ~]# gluster
                volume info<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Volume Name: 3TB<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Type: Distributed-Replicate<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Volume ID:
                5be9165c-3402-4083-b3db-b782da2fb8d8<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Status: Stopped<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Number of Bricks: 5 x 3 =
                15<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Transport-type: tcp<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Bricks:<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick1:
                stor1:/bricks/b/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick2:
                stor2:/bricks/b/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick3:
                stor3:/bricks/b/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick4:
                stor1:/bricks/c/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick5:
                stor2:/bricks/c/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick6:
                stor3:/bricks/c/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick7:
                stor1:/bricks/d/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick8:
                stor2:/bricks/d/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick9:
                stor3:/bricks/d/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick10:
                stor1:/bricks/e/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick11:
                stor2:/bricks/e/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick12:
                stor3:/bricks/e/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick13:
                stor1:/bricks/f/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick14:
                stor2:/bricks/f/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick15:
                stor3:/bricks/f/vol1<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Options Reconfigured:<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; nfs.disable: off<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; user.cifs: enable<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; auth.allow: *<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.quick-read: off<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.read-ahead: off<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.io-cache: off<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; performance.stat-prefetch:
                off<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; cluster.eager-lock: enable<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; network.remote-dio: enable<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; cluster.quorum-type: auto<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; cluster.server-quorum-type:
                server<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; storage.owner-uid: 36<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; storage.owner-gid: 36<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;
                --------------------------------<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Brick added successfully
                without any error but after 1 min quorum<br>
                &gt;&gt;&gt; failed<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; and gluster stop working...<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt; Punit,<br>
                &gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt; And what do you mean by quorum
                failed ?<br>
                &gt;&gt;&gt;&gt;&gt; What is effect that you are seeing
                ?<br>
                &gt;&gt;&gt;&gt;&gt; Could you provide output of
                &#39;gluster volume status&#39; as well ?<br>
                &gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt; -- Sathees<br>
                &gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;  What do log files say?<br>
                &gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Thanks,<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Punit<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;
                _______________________________________________<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; Gluster-users mailing list<br>
              </div>
            </div>
            </div></div><div>
              <div>&gt;&gt;&gt;&gt;&gt;&gt;&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank"></a><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><span class=""><br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt; <a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/mailman/listinfo/gluster-users</a><br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;&gt;<br>
                &gt;&gt;&gt;<br>
                &gt;&gt;&gt; --<br>
                &gt;&gt;&gt; ~Atin<br>
                &gt;&gt;&gt;<br>
                &gt;&gt;<br>
                &gt;&gt;<br>
                &gt;<br>
                <br>
              </span></div><span class="HOEnZb"><font color="#888888">
            </font></span></div><span class="HOEnZb"><font color="#888888">
            <span><font color="#888888">--<br>
                ~Atin<br>
              </font></span></font></span></blockquote><span class="HOEnZb"><font color="#888888">
        </font></span></div><span class="HOEnZb"><font color="#888888">
        <br>
      </font></span></div><span class="">
      <br>
      <fieldset></fieldset>
      <br>
      <pre>_______________________________________________
Gluster-users mailing list
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a>
<a href="http://www.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://www.gluster.org/mailman/listinfo/gluster-users</a></pre>
    </span></blockquote>
    <br>
  </div>

</blockquote></div><br></div>