<div dir="ltr"><br><div>Tested Bitrot related aspects. Created data, enabled bitrot and created more data. The files were signed by the bitrot daemon. Simulated the corruption by editing a file directly in the backend. </div><div>Triggered scrubbing (on demand). Found that the corrupted files were marked bad by the scrubber.</div><div><br></div><div>Also ran general tests such as compiling gluster code base on the mount point, dbench. The tests passed properly.</div><div><br></div><div>Still running some more tests. Will keep updated.</div><div><br></div><div>Regards,</div><div>Raghavendra</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Nov 4, 2016 at 12:43 AM, Pranith Kumar Karampuri <span dir="ltr">&lt;<a href="mailto:pkarampu@redhat.com" target="_blank">pkarampu@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="h5">On Thu, Nov 3, 2016 at 4:42 PM, Pranith Kumar Karampuri <span dir="ltr">&lt;<a href="mailto:pkarampu@redhat.com" target="_blank">pkarampu@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="m_-8813685336340224712gmail-h5">On Thu, Nov 3, 2016 at 9:55 AM, Pranith Kumar Karampuri <span dir="ltr">&lt;<a href="mailto:pkarampu@redhat.com" target="_blank">pkarampu@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="m_-8813685336340224712gmail-m_6153888814018819518h5">On Wed, Nov 2, 2016 at 7:00 PM, Krutika Dhananjay <span dir="ltr">&lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><div><div><div><div><div><div><div><div><div><div><div>Just finished testing VM storage use-case.<br><br></div><u><b>Volume configuration used:</b></u><br><br>[root@srv-1 ~]# gluster volume info<br> <br>Volume Name: rep<br>Type: Replicate<br>Volume ID: 2c603783-c1da-49b7-8100-0238c7<wbr>77b731<br>Status: Started<br>Snapshot Count: 0<br>Number of Bricks: 1 x 3 = 3<br>Transport-type: tcp<br>Bricks:<br>Brick1: srv-1:/bricks/rep1<br>Brick2: srv-2:/bricks/rep2<br>Brick3: srv-3:/bricks/rep4<br>Options Reconfigured:<br>nfs.disable: on<br>performance.readdir-ahead: on<br>transport.address-family: inet<br>performance.quick-read: off<br>performance.read-ahead: off<br>performance.io-cache: off<br>performance.stat-prefetch: off<br>cluster.eager-lock: enable<br>network.remote-dio: enable<br>cluster.quorum-type: auto<br>cluster.server-quorum-type: server<br>features.shard: on<br>cluster.granular-entry-heal: on<br>cluster.locking-scheme: granular<br>network.ping-timeout: 30<br>server.allow-insecure: on<br>storage.owner-uid: 107<br>storage.owner-gid: 107<br>cluster.data-self-heal-algorit<wbr>hm: full<br><br></div><div>Used FUSE to mount the volume locally on each of the 3 nodes (no external clients).<br></div><div>shard-block-size - 4MB.<br></div><div><br></div><u><b>TESTS AND RESULTS:</b></u><br><br></div><div><i><b>What works:</b></i><br><br></div>* Created 3 vm images, one per hypervisor. Installed fedora 24 on all of them.<br>  Used virt-manager for ease of setting up the environment. Installation went fine. All green.<br><br></div>* Rebooted the vms. Worked fine.<br><br></div>* Killed brick-1. Ran dd on the three vms to create a &#39;src&#39; file. Captured their md5sum value. Verified that<br></div>the gfid indices and name indices are created under .glusterfs/indices/xattrop and .glusterfs/indices/entry-chang<wbr>es respectively as they should. Brought the brick back up. Waited until heal completed. Captured md5sum again. They matched.<br><br></div>* Killed brick-2. Copied &#39;src&#39; file from the step above into new file using dd. Captured md5sum on the newly created file.<br></div>Checksum matched. Waited for heal to finish. Captured md5sum again. Everything matched.<br><br></div>* Repeated the test above with brick-3 being killed and brought back up after a while. Worked fine.<br><br></div>At the end I also captured md5sums from the backend of the shards on the three replicas. They all were found to be<br></div>in sync. So far so good.<br><br></div><div><i><b>What did NOT work:</b></i><br><br></div>* Started dd again on all 3 vms to copy the existing files to new files. While dd was running, I ran replace-brick to replace the third brick with a new brick on the same node with a different path. This caused dd on all three vms to simultaneously fail with &quot;Input/Output error&quot;. I tried to read off the files, even that failed. Rebooted the vms. By this time, /.shard is in<br></div><div>split-brain as per heal-info. And the vms seem to have suffered corruption and are in an irrecoverable state.<br><br></div><div>I checked the logs. The pattern is very much similar to the one in the add-brick bug Lindsay reported here - <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1387878" target="_blank">https://bugzilla.redhat.com/sh<wbr>ow_bug.cgi?id=1387878</a>. Seems like something is going wrong each time there is a graph switch.<br><br></div><div>@Aravinda and Pranith:<br><br></div><div>I will need some time to debug this, if 3.9 release can wait until it is RC&#39;d and fixed.<br></div><div>Otherwise we will need to caution the users to not do replace-brick, add-brick etc (or any form of graph switch for that matter) *might* cause vm corruption, irrespective of whether the users are using FUSE or gfapi, in 3.9.0.<br><br></div><div>Let me know what your decision is.<span class="m_-8813685336340224712gmail-m_6153888814018819518m_-4622802939713968289gmail-HOEnZb"><font color="#888888"><br></font></span></div></div></blockquote><div><br></div></div></div><div>Since this bug is not a regression let us document this as a known issue. Let us do our best to get the fix in next release.<br><br></div><div>I am almost done with testing afr and ec.<br><br></div><div>For afr, leaks etc were not there in the tests I did.<br></div><div>But I am seeing performance drop for crawling related tests.<br><br>This is with 3.9.0rc2<br>running directory_crawl_create ... done (252.91 secs)<br>running directory_crawl ... done (104.83 secs)<br>running directory_recrawl ... done (71.20 secs)<br>running metadata_modify ... done (324.83 secs)<br>running directory_crawl_delete ... done (124.22 secs)<br></div></div></div></div></blockquote><div><br></div></div></div><div>I guess this was a one off: I ran it again thrice for both 3.8.5 and 3.9.0rc2 and the numbers looked similar. Will try EC once again.<br></div><div><div class="m_-8813685336340224712gmail-h5"><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div></div><div><br>This is with 3.8.5<br>running directory_crawl_create ... done (176.48 secs)<br>running directory_crawl ... done (9.99 secs)<br>running directory_recrawl ... done (7.15 secs)<br>running metadata_modify ... done (198.36 secs)<br>running directory_crawl_delete ... done (89.32 secs)<br></div><div><br></div><div>I am not seeing good performance with ec in 3.9.0rc2 when compared to 3.8.5 either.<br><br>With v3.9.0rc2:<br>running emptyfiles_create ... done (1278.63 secs)<br>running emptyfiles_delete ... done (254.60 secs)<br>running smallfiles_create ... done (1663.04 secs)<br> </div></div></div></div></blockquote></div></div></div></div></div></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><div class="m_-8813685336340224712gmail-h5"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><br>With v3.8.5:<br>emptyfiles_create       756.11<br>emptyfiles_delete       349.97<br>smallfiles_create       903.47<br><br></div><div>Functionality is fine in both, only the performance. Since these are regressions I will spend some time on these to find what could be the reason.<br></div></div></div></div></blockquote></div></div></div></div></div></blockquote><div><br></div></div></div><div>I think the number of xattr calls increased significantly in 3.9.x I only guessed to have more setxattr calls but I was wrong. Will need to investigate more<br><br>root@dhcp35-190 - ~/ec-strace <br>10:10:22 :) ⚡ grep xattr 3.9-syscalls.txt<br> 197657 fgetxattr<br>   8417 fsetxattr<br>8520762 lgetxattr<br>  26202 llistxattr<br>1011455 lsetxattr<br><br><br>root@dhcp35-190 - ~/ec-strace-3.8.5 <br>10:10:10 :) ⚡ grep xattr 3.8.5-syscalls.txt<br> 512140 fgetxattr<br>   3226 fsetxattr<br>7206715 lgetxattr<br>      8 llistxattr<br> 605425 lsetxattr<br><br></div><span class=""><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><div class="m_-8813685336340224712gmail-h5"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><br></div><span><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><span class="m_-8813685336340224712gmail-m_6153888814018819518m_-4622802939713968289gmail-HOEnZb"><font color="#888888"><br></font></span></div><span class="m_-8813685336340224712gmail-m_6153888814018819518m_-4622802939713968289gmail-HOEnZb"><font color="#888888"><div>-Krutika<br><br></div></font></span></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="m_-8813685336340224712gmail-m_6153888814018819518m_-4622802939713968289gmail-h5">On Wed, Oct 26, 2016 at 8:04 PM, Aravinda <span dir="ltr">&lt;<a href="mailto:avishwan@redhat.com" target="_blank">avishwan@redhat.com</a>&gt;</span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div class="m_-8813685336340224712gmail-m_6153888814018819518m_-4622802939713968289gmail-h5">Gluster 3.9.0rc2 tarball is available here<br>
<a href="http://bits.gluster.org/pub/gluster/glusterfs/src/glusterfs-3.9.0rc2.tar.gz" rel="noreferrer" target="_blank">http://bits.gluster.org/pub/gl<wbr>uster/glusterfs/src/glusterfs-<wbr>3.9.0rc2.tar.gz</a><br>
<br>
regards<span class="m_-8813685336340224712gmail-m_6153888814018819518m_-4622802939713968289gmail-m_-426692429480792393HOEnZb"><font color="#888888"><br>
Aravinda</font></span></div></div><div class="m_-8813685336340224712gmail-m_6153888814018819518m_-4622802939713968289gmail-m_-426692429480792393HOEnZb"><div class="m_-8813685336340224712gmail-m_6153888814018819518m_-4622802939713968289gmail-m_-426692429480792393h5"><div><div class="m_-8813685336340224712gmail-m_6153888814018819518m_-4622802939713968289gmail-h5"><br>
<br>
On Tuesday 25 October 2016 04:12 PM, Aravinda wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Hi,<br>
<br>
Since Automated test framework for Gluster is in progress, we need help from Maintainers and developers to test the features and bug fixes to release Gluster 3.9.<br>
<br>
In last maintainers meeting Shyam shared an idea about having a Test day to accelerate the testing and release.<br>
<br>
Please participate in testing your component(s) on Oct 27, 2016. We will prepare the rc2 build by tomorrow and share the details before Test day.<br>
<br>
RC1 Link: <a href="http://www.gluster.org/pipermail/maintainers/2016-September/001442.html" rel="noreferrer" target="_blank">http://www.gluster.org/piperma<wbr>il/maintainers/2016-September/<wbr>001442.html</a><br>
Release Checklist: <a href="https://public.pad.fsfe.org/p/gluster-component-release-checklist" rel="noreferrer" target="_blank">https://public.pad.fsfe.org/p/<wbr>gluster-component-release-chec<wbr>klist</a><br>
<br>
<br>
Thanks and Regards<br>
Aravinda and Pranith<br>
<br>
</blockquote>
<br></div></div><span class="m_-8813685336340224712gmail-m_6153888814018819518m_-4622802939713968289gmail-">
______________________________<wbr>_________________<br>
Gluster-devel mailing list<br>
<a href="mailto:Gluster-devel@gluster.org" target="_blank">Gluster-devel@gluster.org</a><br>
<a href="http://www.gluster.org/mailman/listinfo/gluster-devel" rel="noreferrer" target="_blank">http://www.gluster.org/mailman<wbr>/listinfo/gluster-devel</a><br>
</span></div></div></blockquote></div><br></div>
</blockquote></span></div><span class="m_-8813685336340224712gmail-m_6153888814018819518HOEnZb"><font color="#888888"><br><br clear="all"><br>-- <br><div class="m_-8813685336340224712gmail-m_6153888814018819518m_-4622802939713968289gmail_signature"><div dir="ltr">Pranith<br></div></div>
</font></span></div></div>
</blockquote></div></div></div><span class="m_-8813685336340224712gmail-HOEnZb"><font color="#888888"><br><br clear="all"><br>-- <br><div class="m_-8813685336340224712gmail-m_6153888814018819518gmail_signature"><div dir="ltr">Pranith<br></div></div>
</font></span></div></div>
</blockquote></span></div><span class="HOEnZb"><font color="#888888"><br><br clear="all"><br>-- <br><div class="m_-8813685336340224712gmail_signature"><div dir="ltr">Pranith<br></div></div>
</font></span></div></div>
<br>______________________________<wbr>_________________<br>
maintainers mailing list<br>
<a href="mailto:maintainers@gluster.org">maintainers@gluster.org</a><br>
<a href="http://www.gluster.org/mailman/listinfo/maintainers" rel="noreferrer" target="_blank">http://www.gluster.org/<wbr>mailman/listinfo/maintainers</a><br>
<br></blockquote></div><br></div>