<div dir="ltr">I wouldn&#39;t think you&#39;d need any &#39;arbiter&#39; nodes (in quotes because in 3.7+ there is an actual arbiter node at the volume level). You have 4 nodes, and if you lose 1, you&#39;re at 3/4 or 75%.<div><br></div><div>Personally I&#39;ve not had much luck with 2 node (with or without the fake arbiter node) as storage for Ovirt VM&#39;s. I found I ran into a slew of storage domain failure issues (no data loss), hanging VM&#39;s etc. Instead I went with a replica 3 volume for just VM storage (3 x 1TB SSD&#39;s) and bulk storage is distributed replica 2.</div><div><br></div><div>I found when a node in a replica pair goes down and is timing out there was zero IO (no read, no write). After a timeout I end up with a readonly filesystem for whatever data was stored on that replica pair. Not very useful for something stateful like a VM. The only way to get write access was to get the failed node up and running, and usually the VM&#39;s in Ovirt ended up in a &#39;paused&#39; state that couldn&#39;t be recovered from.</div><div><br></div><div>I also testing volume level arbiter (replica 2 arbiter 1) with gluster 3.7.3 before going to 3.6.6 and replica 3, and found IO was too slow for my environment. The bug report I filed is here for some write speed references: <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1255110">https://bugzilla.redhat.com/show_bug.cgi?id=1255110</a></div><div><br></div><div>In any case I&#39;d stick with a stable release of Gluster, and try to get replica 3 for VM storage if you can.</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 2, 2015 at 9:54 AM, André Bauer <span dir="ltr">&lt;<a href="mailto:abauer@magix.net" target="_blank">abauer@magix.net</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Thanks for the hints guys :-)<br>
<br>
I think i will try to use an arbiter. As i use distributed / replicated<br>
volumes i think i have to add 2 arbiters, right?<br>
<br>
My nodes have 10GBit interfaces. Would be 1 GBit for the arbiter(s) enough?<br>
<br>
Regards<br>
<span class="HOEnZb"><font color="#888888">André<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
<br>
Am 28.10.2015 um 14:38 schrieb Diego Remolina:<br>
&gt; I am running Ovirt and self-hosted engine with additional vms on a<br>
&gt; replica two gluster volume. I have an &quot;arbiter&quot; node and set quorum<br>
&gt; ratio to 51%. The arbiter node is just another machine with the<br>
&gt; glusterfs bits installed that is part of the gluster peers but has no<br>
&gt; bricks to it.<br>
&gt;<br>
&gt; You will have to be very careful where you put these three machines if<br>
&gt; they are going to go in separate server rooms or buildings. There are<br>
&gt; pros and cons to distribution of the nodes and network topology may<br>
&gt; also influence that.<br>
&gt;<br>
&gt; In my case, this is on a campus, I have machines in 3 separate<br>
&gt; buildings and all machines are on the same main campus router (we have<br>
&gt; more than one main router). All machines connected via 10 gbps. If I<br>
&gt; had one node with bricks and the arbiter in the same building and that<br>
&gt; building went down (power/AC/chill water/network), then the other node<br>
&gt; with bricks would be useless. This is why I have machines in 3<br>
&gt; different buildings. Oh, and this is because most of the client<br>
&gt; systems are not even in the same building as the servers. If my client<br>
&gt; machines and servers where in the same building, then doing one node<br>
&gt; with bricks and arbiter in that same building could make sense.<br>
&gt;<br>
&gt; HTH,<br>
&gt;<br>
&gt; Diego<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On Wed, Oct 28, 2015 at 5:25 AM, Niels de Vos &lt;<a href="mailto:ndevos@redhat.com">ndevos@redhat.com</a>&gt; wrote:<br>
&gt;&gt; On Tue, Oct 27, 2015 at 07:21:35PM +0100, André Bauer wrote:<br>
&gt;&gt;&gt; -----BEGIN PGP SIGNED MESSAGE-----<br>
&gt;&gt;&gt; Hash: SHA256<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Hi Niels,<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; my network.ping-timeout was already set to 5 seconds.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Unfortunately it seems i dont have the timout setting in Ubuntu 14.04<br>
&gt;&gt;&gt; for my vda disk.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; ls -al /sys/block/vda/device/ gives me only:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; drwxr-xr-x 4 root root    0 Oct 26 20:21 ./<br>
&gt;&gt;&gt; drwxr-xr-x 5 root root    0 Oct 26 20:21 ../<br>
&gt;&gt;&gt; drwxr-xr-x 3 root root    0 Oct 26 20:21 block/<br>
&gt;&gt;&gt; - -r--r--r-- 1 root root 4096 Oct 27 18:13 device<br>
&gt;&gt;&gt; lrwxrwxrwx 1 root root    0 Oct 27 18:13 driver -&gt;<br>
&gt;&gt;&gt; ../../../../bus/virtio/drivers/virtio_blk/<br>
&gt;&gt;&gt; - -r--r--r-- 1 root root 4096 Oct 27 18:13 features<br>
&gt;&gt;&gt; - -r--r--r-- 1 root root 4096 Oct 27 18:13 modalias<br>
&gt;&gt;&gt; drwxr-xr-x 2 root root    0 Oct 27 18:13 power/<br>
&gt;&gt;&gt; - -r--r--r-- 1 root root 4096 Oct 27 18:13 status<br>
&gt;&gt;&gt; lrwxrwxrwx 1 root root    0 Oct 26 20:21 subsystem -&gt;<br>
&gt;&gt;&gt; ../../../../bus/virtio/<br>
&gt;&gt;&gt; - -rw-r--r-- 1 root root 4096 Oct 26 20:21 uevent<br>
&gt;&gt;&gt; - -r--r--r-- 1 root root 4096 Oct 26 20:21 vendor<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Is the qourum setting a problem, if you only have 2 replicas?<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; My volume has this quorum options set:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; cluster.quorum-type: auto<br>
&gt;&gt;&gt; cluster.server-quorum-type: server<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; As i understand the documentation (<br>
&gt;&gt;&gt; <a href="https://access.redhat.com/documentation/en-US/Red_Hat_Storage/2.0/html/A" rel="noreferrer" target="_blank">https://access.redhat.com/documentation/en-US/Red_Hat_Storage/2.0/html/A</a><br>
&gt;&gt;&gt; dministration_Guide/sect-User_Guide-Managing_Volumes-Quorum.html<br>
&gt;&gt;&gt; ), cluster.server-quorum-ratio is set to &quot;&lt; 50%&quot; by default, which can<br>
&gt;&gt;&gt; never happen if you only have 2 replicas and one node goes down, right?<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Do in need cluster.server-quorum-ratio = 50% in this case?<br>
&gt;&gt;<br>
&gt;&gt; Replica 2 for VM storage is troublesome. Sahine just responded very<br>
&gt;&gt; nicely to a very similar email:<br>
&gt;&gt;<br>
&gt;&gt;   <a href="http://thread.gmane.org/gmane.comp.file-systems.gluster.user/22818/focus=22823" rel="noreferrer" target="_blank">http://thread.gmane.org/gmane.comp.file-systems.gluster.user/22818/focus=22823</a><br>
&gt;&gt;<br>
&gt;&gt; HTH,<br>
&gt;&gt; Niels<br>
&gt;&gt;<br>
&gt;&gt; _______________________________________________<br>
&gt;&gt; Gluster-users mailing list<br>
&gt;&gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt;&gt; <a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt;<br>
<br>
<br>
</div></div><span class="im HOEnZb">--<br>
Mit freundlichen Grüßen<br>
André Bauer<br>
<br>
MAGIX Software GmbH<br>
André Bauer<br>
Administrator<br>
August-Bebel-Straße 48<br>
01219 Dresden<br>
GERMANY<br>
<br>
tel.: 0351 41884875<br>
e-mail: <a href="mailto:abauer@magix.net">abauer@magix.net</a><br>
<a href="mailto:abauer@magix.net">abauer@magix.net</a> &lt;mailto:<a href="mailto:Email">Email</a>&gt;<br>
<a href="http://www.magix.com" rel="noreferrer" target="_blank">www.magix.com</a> &lt;<a href="http://www.magix.com/" rel="noreferrer" target="_blank">http://www.magix.com/</a>&gt;<br>
<br>
Geschäftsführer | Managing Directors: Dr. Arnd Schröder, Klaus Schmidt<br>
Amtsgericht | Commercial Register: Berlin Charlottenburg, HRB 127205<br>
<br>
Find us on:<br>
<br>
&lt;<a href="http://www.facebook.com/MAGIX" rel="noreferrer" target="_blank">http://www.facebook.com/MAGIX</a>&gt; &lt;<a href="http://www.twitter.com/magix_de" rel="noreferrer" target="_blank">http://www.twitter.com/magix_de</a>&gt;<br>
&lt;<a href="http://www.youtube.com/wwwmagixcom" rel="noreferrer" target="_blank">http://www.youtube.com/wwwmagixcom</a>&gt; &lt;<a href="http://www.magixmagazin.de" rel="noreferrer" target="_blank">http://www.magixmagazin.de</a>&gt;<br>
</span><span class="im HOEnZb">----------------------------------------------------------------------<br>
The information in this email is intended only for the addressee named<br>
above. Access to this email by anyone else is unauthorized. If you are<br>
not the intended recipient of this message any disclosure, copying,<br>
distribution or any action taken in reliance on it is prohibited and<br>
may be unlawful. MAGIX does not warrant that any attachments are free<br>
from viruses or other defects and accepts no liability for any losses<br>
resulting from infected email transmissions. Please note that any<br>
views expressed in this email may be those of the originator and do<br>
not necessarily represent the agenda of the company.<br>
----------------------------------------------------------------------<br>
</span><div class="HOEnZb"><div class="h5">_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/mailman/listinfo/gluster-users</a></div></div></blockquote></div><br></div>