<div dir="ltr"><div>Could you attach the fuse client and brick logs?<br><br></div>-Krutika<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Nov 18, 2016 at 6:12 AM, Olivier Lambert <span dir="ltr">&lt;<a href="mailto:lambert.olivier@gmail.com" target="_blank">lambert.olivier@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Okay, used the exact same config you provided, and adding an arbiter<br>
node (node3)<br>
<br>
After halting node2, VM continues to work after a small &quot;lag&quot;/freeze.<br>
I restarted node2 and it was back online: OK<br>
<br>
Then, after waiting few minutes, halting node1. And **just** at this<br>
moment, the VM is corrupted (segmentation fault, /var/log folder empty<br>
etc.)<br>
<br>
dmesg of the VM:<br>
<br>
[ 1645.852905] EXT4-fs error (device xvda1):<br>
htree_dirblock_to_tree:988: inode #19: block 8286: comm bash: bad<br>
entry in directory: rec_len is smaller than minimal - offset=0(0),<br>
inode=0, rec_len=0, name_len=0<br>
[ 1645.854509] Aborting journal on device xvda1-8.<br>
[ 1645.855524] EXT4-fs (xvda1): Remounting filesystem read-only<br>
<br>
And got a lot of &quot; comm bash: bad entry in directory&quot; messages then...<br>
<br>
Here is the current config with all Node back online:<br>
<br>
# gluster volume info<br>
<span class=""><br>
Volume Name: gv0<br>
Type: Replicate<br>
</span>Volume ID: 5f15c919-57e3-4648-b20a-<wbr>395d9fe3d7d6<br>
<span class="">Status: Started<br>
Snapshot Count: 0<br>
</span>Number of Bricks: 1 x (2 + 1) = 3<br>
<span class="">Transport-type: tcp<br>
Bricks:<br>
Brick1: 10.0.0.1:/bricks/brick1/gv0<br>
Brick2: 10.0.0.2:/bricks/brick1/gv0<br>
</span>Brick3: 10.0.0.3:/bricks/brick1/gv0 (arbiter)<br>
<span class="">Options Reconfigured:<br>
nfs.disable: on<br>
performance.readdir-ahead: on<br>
transport.address-family: inet<br>
features.shard: on<br>
features.shard-block-size: 16MB<br>
</span><span class="">network.remote-dio: enable<br>
cluster.eager-lock: enable<br>
performance.io-cache: off<br>
performance.read-ahead: off<br>
performance.quick-read: off<br>
performance.stat-prefetch: on<br>
performance.strict-write-<wbr>ordering: off<br>
cluster.server-quorum-type: server<br>
cluster.quorum-type: auto<br>
cluster.data-self-heal: on<br>
<br>
<br>
</span># gluster volume status<br>
<span class="">Status of volume: gv0<br>
Gluster process                             TCP Port  RDMA Port  Online  Pid<br>
------------------------------<wbr>------------------------------<wbr>------------------<br>
</span>Brick 10.0.0.1:/bricks/brick1/gv0           49152     0          Y       1331<br>
Brick 10.0.0.2:/bricks/brick1/gv0           49152     0          Y       2274<br>
Brick 10.0.0.3:/bricks/brick1/gv0           49152     0          Y       2355<br>
Self-heal Daemon on localhost               N/A       N/A        Y       2300<br>
Self-heal Daemon on 10.0.0.3                N/A       N/A        Y       10530<br>
Self-heal Daemon on 10.0.0.2                N/A       N/A        Y       2425<br>
<span class="im HOEnZb"><br>
Task Status of Volume gv0<br>
------------------------------<wbr>------------------------------<wbr>------------------<br>
There are no active volume tasks<br>
<br>
<br>
<br>
</span><div class="HOEnZb"><div class="h5">On Thu, Nov 17, 2016 at 11:35 PM, Olivier Lambert<br>
&lt;<a href="mailto:lambert.olivier@gmail.com">lambert.olivier@gmail.com</a>&gt; wrote:<br>
&gt; It&#39;s planned to have an arbiter soon :) It was just preliminary tests.<br>
&gt;<br>
&gt; Thanks for the settings, I&#39;ll test this soon and I&#39;ll come back to you!<br>
&gt;<br>
&gt; On Thu, Nov 17, 2016 at 11:29 PM, Lindsay Mathieson<br>
&gt; &lt;<a href="mailto:lindsay.mathieson@gmail.com">lindsay.mathieson@gmail.com</a>&gt; wrote:<br>
&gt;&gt; On 18/11/2016 8:17 AM, Olivier Lambert wrote:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; gluster volume info gv0<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Volume Name: gv0<br>
&gt;&gt;&gt; Type: Replicate<br>
&gt;&gt;&gt; Volume ID: 2f8658ed-0d9d-4a6f-a00b-<wbr>96e9d3470b53<br>
&gt;&gt;&gt; Status: Started<br>
&gt;&gt;&gt; Snapshot Count: 0<br>
&gt;&gt;&gt; Number of Bricks: 1 x 2 = 2<br>
&gt;&gt;&gt; Transport-type: tcp<br>
&gt;&gt;&gt; Bricks:<br>
&gt;&gt;&gt; Brick1: 10.0.0.1:/bricks/brick1/gv0<br>
&gt;&gt;&gt; Brick2: 10.0.0.2:/bricks/brick1/gv0<br>
&gt;&gt;&gt; Options Reconfigured:<br>
&gt;&gt;&gt; nfs.disable: on<br>
&gt;&gt;&gt; performance.readdir-ahead: on<br>
&gt;&gt;&gt; transport.address-family: inet<br>
&gt;&gt;&gt; features.shard: on<br>
&gt;&gt;&gt; features.shard-block-size: 16MB<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; When hosting VM&#39;s its essential to set these options:<br>
&gt;&gt;<br>
&gt;&gt; network.remote-dio: enable<br>
&gt;&gt; cluster.eager-lock: enable<br>
&gt;&gt; performance.io-cache: off<br>
&gt;&gt; performance.read-ahead: off<br>
&gt;&gt; performance.quick-read: off<br>
&gt;&gt; performance.stat-prefetch: on<br>
&gt;&gt; performance.strict-write-<wbr>ordering: off<br>
&gt;&gt; cluster.server-quorum-type: server<br>
&gt;&gt; cluster.quorum-type: auto<br>
&gt;&gt; cluster.data-self-heal: on<br>
&gt;&gt;<br>
&gt;&gt; Also with replica two and quorum on (required) your volume will become<br>
&gt;&gt; read-only when one node goes down to prevent the possibility of split-brain<br>
&gt;&gt; - you *really* want to avoid that :)<br>
&gt;&gt;<br>
&gt;&gt; I&#39;d recommend a replica 3 volume, that way 1 node can go down, but the other<br>
&gt;&gt; two still form a quorum and will remain r/w.<br>
&gt;&gt;<br>
&gt;&gt; If the extra disks are not possible, then a Arbiter volume can be setup -<br>
&gt;&gt; basically dummy files on the third node.<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; --<br>
&gt;&gt; Lindsay Mathieson<br>
&gt;&gt;<br>
&gt;&gt; ______________________________<wbr>_________________<br>
&gt;&gt; Gluster-users mailing list<br>
&gt;&gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt;&gt; <a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/<wbr>mailman/listinfo/gluster-users</a><br>
______________________________<wbr>_________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/<wbr>mailman/listinfo/gluster-users</a><br>
</div></div></blockquote></div><br></div>