<div dir="ltr"><div><div> Pasting Testing Logs<br>======================<br><br>3.6<br><br>[root@dhcp-0-112 rpms]# /sbin/gluster v create v1 $tm1:/export/sdb/br1<br>volume create: v1: success: please start the volume to access data<br><br>[root@dhcp-0-112 rpms]# gluster v start v1<br>[root@dhcp-0-112 rpms]# <br>[root@dhcp-0-112 rpms]#  mount -t glusterfs $tm1:v1 /gluster_vols/vol<br>[root@dhcp-0-112 rpms]# gluster v quota v1 enable <br>volume quota : success<br>[root@dhcp-0-112 rpms]# <br>[root@dhcp-0-112 rpms]# mkdir -p /gluster_vols/vol/dir1;  gluster v quota v1 limit-usage /dir1 5MB 10<br>volume quota : success<br>[root@dhcp-0-112 rpms]# mkdir -p /gluster_vols/vol/dir2;  gluster v quota v1 limit-usage /dir2 16MB 10<br>volume quota : success<br>[root@dhcp-0-112 rpms]# gluster v quota v1 list <br>                  Path                   Hard-limit Soft-limit   Used  Available  Soft-limit exceeded? Hard-limit exceeded?<br>---------------------------------------------------------------------------------------------------------------------------<br>/dir1                                      5.0MB       10%      0Bytes   5.0MB              No                   No<br>/dir2                                     16.0MB       10%      0Bytes  16.0MB              No                   No<br>[root@dhcp-0-112 rpms]# <br>[root@dhcp-0-112 rpms]# <br>[root@dhcp-0-112 rpms]# rpm -qa | grep glusterfs-ser<br>glusterfs-server-3.6.9-0.1.gitcaccd6c.fc24.x86_64<br><br>[root@dhcp-0-112 rpms]# umount /gluster_vols/vol <br>[root@dhcp-0-112 rpms]# <br><br>[root@dhcp-0-112 rpms]# cat /var/lib/glusterd/vols/v1/quota.conf <br>[root@dhcp-0-112 rpms]# hexdump /var/lib/glusterd/vols/v1/quota.conf <br><br>[root@dhcp-0-112 rpms]# hexdump -c /var/lib/glusterd/vols/v1/quota.conf <br>0000000   G   l   u   s   t   e   r   F   S       Q   u   o   t   a    <br>0000010   c   o   n   f       |       v   e   r   s   i   o   n   :    <br>0000020   v   1   .   1  \n   U  \t 213   I 252 251   C 337 262   x  \b<br>0000030   i   y   r   5 021 312 335   w 366   X   5   B   H 210 260 227<br>0000040   ^ 251   X 237   G                                            <br>0000045<br>[root@dhcp-0-112 rpms]# <br><br>[root@dhcp-0-112 rpms]# getfattr -d -m. -e hex /export/sdb/br1/dir1/ | grep gfid<br>getfattr: Removing leading &#39;/&#39; from absolute path names<br>trusted.gfid=0x55098b49aaa943dfb278086979723511<br>[root@dhcp-0-112 rpms]# getfattr -d -m. -e hex /export/sdb/br1/dir2/ | grep gfid<br>getfattr: Removing leading &#39;/&#39; from absolute path names<br>trusted.gfid=0xcadd77f65835424888b0975ea9589f47<br><br>[root@dhcp-0-112 rpms]# gluster v stop v1<br>Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y<br>volume stop: v1: success<br><br>[root@dhcp-0-112 rpms]# pkill glusterd<br><br>+++++++++++++++++++ Replace with 3.9 build  without patch++++++++++<br><br>[root@dhcp-0-112 3.9]# systemctl start glusterd<br>[root@dhcp-0-112 3.9]# <br>[root@dhcp-0-112 3.9]# rpm -qa | grep glusterfs-ser<br>glusterfs-server-3.9.0rc2-0.13.gita3bade0.fc24.x86_64<br>[<br>[root@dhcp-0-112 3.9]# gluster v set all cluster.op-version 30700<br>volume set: success<br><br>[root@dhcp-0-112 3.9]# gluster v start v1<br>volume start: v1: success<br><br>[root@dhcp-0-112 3.9]#  mount -t glusterfs $tm1:v1 /gluster_vols/vol<br><br>&gt;&gt; not sure why we see this , second attempt succeeds<br>[root@dhcp-0-112 3.9]#  gluster v quota v1 limit-usage /dir1 12MB 10<br>quota command failed : Failed to start aux mount<br>[root@dhcp-0-112 3.9]# <br>[root@dhcp-0-112 3.9]#  gluster v quota v1 limit-usage /dir2 12MB 10<br>volume quota : success<br><br>[root@dhcp-0-112 3.9]# hexdump -c /var/lib/glusterd/vols/v1/quota.conf<br>0000000   G   l   u   s   t   e   r   F   S       Q   u   o   t   a    <br>0000010   c   o   n   f       |       v   e   r   s   i   o   n   :    <br>0000020   v   1   .   2  \n   U  \t 213   I 252 251   C 337 262   x  \b<br>0000030   i   y   r   5 021 001 312 335   w 366   X   5   B   H 210 260<br>0000040 227   ^ 251   X 237   G 001                                    <br>0000047<br>[root@dhcp-0-112 3.9]# gluster v quota v1 list <br>                  Path                   Hard-limit  Soft-limit      Used  Available  Soft-limit exceeded? Hard-limit exceeded?<br>-------------------------------------------------------------------------------------------------------------------------------<br>/dir1                                      5.0MB     10%(512.0KB)   0Bytes   5.0MB              No                   No<br>/dir2                                     12.0MB     10%(1.2MB)   0Bytes  12.0MB              No                   No<br>[root@dhcp-0-112 3.9]# <br>[root@dhcp-0-112 3.9]#  gluster v quota v1 limit-usage /dir1 12MB 10<br><br>[root@dhcp-0-112 3.9]# cksum /var/lib/glusterd/vols/v1/quota.conf<br>496616948 71 /var/lib/glusterd/vols/v1/quota.conf<br>[root@dhcp-0-112 3.9]# <br><br>&gt;&gt; Now we disable , followed by enable and set the same limits to check if we get the same quota.conf contents<br><br>[root@dhcp-0-112 3.9]# /sbin/gluster v quota v1 disable<br>Disabling quota will delete all the quota configuration. Do you want to continue? (y/n) y<br>quota command failed : Volume quota failed. The cluster is operating at version 30700. Quota command disable is unavailable in this version.<br>[root@dhcp-0-112 3.9]# <br><br>&gt;&gt; we need to upgrade to 3_7_12 to use disable <br> <br>[root@dhcp-0-112 3.9]# gluster v set all cluster.op-version 30712<br>volume set: success<br>[root@dhcp-0-112 3.9]# /sbin/gluster v quota v1 disable<br>Disabling quota will delete all the quota configuration. Do you want to continue? (y/n) y<br>volume quota : success<br><br>[root@dhcp-0-112 3.9]# /sbin/gluster v quota v1 enable<br>volume quota : success<br><br>&gt;&gt; again we hit it,<br><br>[root@dhcp-0-112 3.9]#  gluster v quota v1 limit-usage /dir1 12MB 10<br>quota command failed : Failed to start aux mount<br>[root@dhcp-0-112 3.9]# <br>[root@dhcp-0-112 3.9]#  gluster v quota v1 limit-usage /dir1 12MB 10<br>volume quota : success<br>[root@dhcp-0-112 3.9]#  gluster v quota v1 limit-usage /dir2 12MB 10<br>volume quota : success<br><br>&gt;&gt; we get same quota.conf contents, confirming that the limit-usage rewrites quota.conf correctly<br>[root@dhcp-0-112 3.9]# cksum /var/lib/glusterd/vols/v1/quota.conf <br>496616948 71 /var/lib/glusterd/vols/v1/quota.conf<br><br><br>I Notice that while the limit-usage command does rewrite quota.conf correctly, the command does not always succeed.<br>So the user may have to try it multiple times. <br><br></div><div><br></div>Thanks and Regards,<br></div>Sanoj<br><div><div><br><br><br><br></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Nov 11, 2016 at 2:42 AM, Vijay Bellur <span dir="ltr">&lt;<a href="mailto:vbellur@redhat.com" target="_blank">vbellur@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On Thu, Nov 10, 2016 at 11:56 AM, Niels de Vos &lt;<a href="mailto:ndevos@redhat.com">ndevos@redhat.com</a>&gt; wrote:<br>
&gt; On Thu, Nov 10, 2016 at 11:44:21AM -0500, Vijay Bellur wrote:<br>
&gt;&gt; On Thu, Nov 10, 2016 at 11:14 AM, Shyam &lt;<a href="mailto:srangana@redhat.com">srangana@redhat.com</a>&gt; wrote:<br>
&gt;&gt; &gt; On 11/10/2016 11:01 AM, Vijay Bellur wrote:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; On Thu, Nov 10, 2016 at 10:49 AM, Shyam &lt;<a href="mailto:srangana@redhat.com">srangana@redhat.com</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; On 11/10/2016 10:21 AM, Vijay Bellur wrote:<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;&gt; On Thu, Nov 10, 2016 at 10:16 AM, Manikandan Selvaganesh<br>
&gt;&gt; &gt;&gt;&gt;&gt; &lt;<a href="mailto:manikandancs333@gmail.com">manikandancs333@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt;&gt;&gt; Given that we are done with the last release in 3.6.x, I think there<br>
&gt;&gt; &gt;&gt;&gt;&gt; would be users looking to upgrade.  My vote is to include the<br>
&gt;&gt; &gt;&gt;&gt;&gt; necessary patches in 3.9 and not let users go through unnatural<br>
&gt;&gt; &gt;&gt;&gt;&gt; workflows to get quota working again in 3.9.0.<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; &lt;Comment is without knowing if the necessary patches are good to go&gt;<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; Consider this a curiosity question ATM,<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;&gt; 3.9 is an LTM, right? So we are not stating workflows here are set in<br>
&gt;&gt; &gt;&gt;&gt; stone?<br>
&gt;&gt; &gt;&gt;&gt; Can this not be an projected workflow?<br>
&gt;&gt; &gt;&gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; 3.9 is a STM release as per [1].<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Sorry, I meant STM.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Irrespective of a release being LTM or not, being able to upgrade to a<br>
&gt;&gt; &gt;&gt; release without operational disruptions is a requirement.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; I would say upgrade to an STM *maybe* painful, as it is an STM and hence may<br>
&gt;&gt; &gt; contain changes that are yet to be announced stable or changed workflows<br>
&gt;&gt; &gt; that are not easy to upgrade to. We do need to document them though, even<br>
&gt;&gt; &gt; for the STM.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Along these lines, the next LTM should be as stated, i.e &quot;without<br>
&gt;&gt; &gt; operational disruptions&quot;. The STM is for adventurous folks, no?<br>
&gt;&gt; &gt;<br>
&gt;&gt;<br>
&gt;&gt; In my view STM releases for getting new features out early. This would<br>
&gt;&gt; enable early adopters to try and provide feedback about new features.<br>
&gt;&gt; Existing features and upgrades should work smoothly. IOW, we do not<br>
&gt;&gt; want to have known regressions for existing features in STM releases.<br>
&gt;&gt; New features might have rough edges and this should be amply<br>
&gt;&gt; advertised.<br>
&gt;<br>
&gt; I do not think users on 3.6 are the right consumers for a STM release.<br>
&gt; These users are conservative and did not ugrade earlier. I doubt they<br>
&gt; are interested in new features *now*. Users that did not upgrade before,<br>
&gt; are unlikely the users that will upgrade in three months when 3.9 is<br>
&gt; EOL.<br>
&gt;<br>
&gt;&gt; In this specific case, quota has not undergone any significant changes<br>
&gt;&gt; in 3.9 and letting such a relatively unchanged feature affect users<br>
&gt;&gt; upgrading from 3.6 does not seem right to me. Also note that since<br>
&gt;&gt; LATEST in d.g.o would point to 3.9.0 after the release, users<br>
&gt;&gt; performing package upgrades on their systems could end up with 3.9.0<br>
&gt;&gt; inadvertently.<br>
&gt;<br>
&gt; The packages from the CentOS Storage SIG will by default provide the<br>
&gt; latest LTM release. The STM release is provided in addition, and needs<br>
&gt; an extra step to enable.<br>
&gt;<br>
&gt; I am not sure how we can handle this in other distributions (or also<br>
&gt; with the packages on d.g.o.).<br>
<br>
</div></div>Maybe we should not flip the LATEST for non-RPM distributions in<br>
d.g.o? or should we introduce LTM/LATEST and encourage users to change<br>
their repository files to point to this?<br>
<br>
Packaging in distributions would be handled by package maintainers and<br>
I presume they can decide the appropriateness of a release for<br>
packaging?<br>
<br>
Thanks,<br>
<div class="HOEnZb"><div class="h5">Vijay<br>
______________________________<wbr>_________________<br>
Gluster-devel mailing list<br>
<a href="mailto:Gluster-devel@gluster.org">Gluster-devel@gluster.org</a><br>
<a href="http://www.gluster.org/mailman/listinfo/gluster-devel" rel="noreferrer" target="_blank">http://www.gluster.org/<wbr>mailman/listinfo/gluster-devel</a><br>
</div></div></blockquote></div><br></div>