Hi,<br><br>I will try to recreate this issue tomorrow on my machines with the steps that Lindsay provided in this thread. I will let you know the result soon after that.<br><br>-Krutika<br><br>On Wednesday, May 18, 2016, Kevin Lemonnier &lt;<a href="mailto:lemonnierk@ulrar.net">lemonnierk@ulrar.net</a>&gt; wrote:<br>&gt; Hi,<br>&gt;<br>&gt; Some news on this.<br>&gt; Over the week end the RAID Card of the node ipvr2 died, and I thought<br>&gt; that maybe that was the problem all along. The RAID Card was changed<br>&gt; and yesterday I reinstalled everything.<br>&gt; Same problem just now.<br>&gt;<br>&gt; My test is simple, using the website hosted on the VMs all the time<br>&gt; I reboot ipvr50, wait for the heal to complete, migrate all the VMs off<br>&gt; ipvr2 then reboot it, wait for the heal to complete then migrate all<br>&gt; the VMs off ipvr3 then reboot it.<br>&gt; Everytime the first database VM (which is the only one really using the disk<br>&gt; durign the heal) starts showing I/O errors on it&#39;s disk.<br>&gt;<br>&gt; Am I really the only one with that problem ?<br>&gt; Maybe one of the drives is dying too, who knows, but SMART isn&#39;t saying anything ..<br>&gt;<br>&gt;<br>&gt; On Thu, May 12, 2016 at 04:03:02PM +0200, Kevin Lemonnier wrote:<br>&gt;&gt; Hi,<br>&gt;&gt;<br>&gt;&gt; I had a problem some time ago with 3.7.6 and freezing during heals,<br>&gt;&gt; and multiple persons advised to use 3.7.11 instead. Indeed, with that<br>&gt;&gt; version the freez problem is fixed, it works like a dream ! You can<br>&gt;&gt; almost not tell that a node is down or healing, everything keeps working<br>&gt;&gt; except for a little freez when the node just went down and I assume<br>&gt;&gt; hasn&#39;t timed out yet, but that&#39;s fine.<br>&gt;&gt;<br>&gt;&gt; Now I have a 3.7.11 volume on 3 nodes for testing, and the VM are proxmox<br>&gt;&gt; VMs with qCow2 disks stored on the gluster volume.<br>&gt;&gt; Here is the config :<br>&gt;&gt;<br>&gt;&gt; Volume Name: gluster<br>&gt;&gt; Type: Replicate<br>&gt;&gt; Volume ID: e4f01509-beaf-447d-821f-957cc5c20c0a<br>&gt;&gt; Status: Started<br>&gt;&gt; Number of Bricks: 1 x 3 = 3<br>&gt;&gt; Transport-type: tcp<br>&gt;&gt; Bricks:<br>&gt;&gt; Brick1: ipvr2.client:/mnt/storage/gluster<br>&gt;&gt; Brick2: ipvr3.client:/mnt/storage/gluster<br>&gt;&gt; Brick3: ipvr50.client:/mnt/storage/gluster<br>&gt;&gt; Options Reconfigured:<br>&gt;&gt; cluster.quorum-type: auto<br>&gt;&gt; cluster.server-quorum-type: server<br>&gt;&gt; network.remote-dio: enable<br>&gt;&gt; cluster.eager-lock: enable<br>&gt;&gt; performance.quick-read: off<br>&gt;&gt; performance.read-ahead: off<br>&gt;&gt; performance.io-cache: off<br>&gt;&gt; performance.stat-prefetch: off<br>&gt;&gt; features.shard: on<br>&gt;&gt; features.shard-block-size: 64MB<br>&gt;&gt; cluster.data-self-heal-algorithm: full<br>&gt;&gt; performance.readdir-ahead: on<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; As mentioned, I rebooted one of the nodes to test the freezing issue I had<br>&gt;&gt; on previous versions and appart from the initial timeout, nothing, the website<br>&gt;&gt; hosted on the VMs keeps working like a charm even during heal.<br>&gt;&gt; Since it&#39;s testing, there isn&#39;t any load on it though, and I just tried to refresh<br>&gt;&gt; the database by importing the production one on the two MySQL VMs, and both of them<br>&gt;&gt; started doing I/O errors. I tried shutting them down and powering them on again,<br>&gt;&gt; but same thing, even starting full heals by hand doesn&#39;t solve the problem, the disks are<br>&gt;&gt; corrupted. They still work, but sometimes they remount their partitions read only ..<br>&gt;&gt;<br>&gt;&gt; I believe there is a few people already using 3.7.11, no one noticed corruption problems ?<br>&gt;&gt; Anyone using Proxmox ? As already mentionned in multiple other threads on this mailing list<br>&gt;&gt; by other users, I also have pretty much always shards in heal info, but nothing &quot;stuck&quot; there,<br>&gt;&gt; they always go away in a few seconds getting replaced by other shards.<br>&gt;&gt;<br>&gt;&gt; Thanks<br>&gt;&gt;<br>&gt;&gt; --<br>&gt;&gt; Kevin Lemonnier<br>&gt;&gt; PGP Fingerprint : 89A5 2283 04A0 E6E9 0111<br>&gt;<br>&gt;<br>&gt;<br>&gt;&gt; _______________________________________________<br>&gt;&gt; Gluster-users mailing list<br>&gt;&gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>&gt;&gt; <a href="http://www.gluster.org/mailman/listinfo/gluster-users">http://www.gluster.org/mailman/listinfo/gluster-users</a><br>&gt;<br>&gt;<br>&gt; --<br>&gt; Kevin Lemonnier<br>&gt; PGP Fingerprint : 89A5 2283 04A0 E6E9 0111<br>&gt;