<html><head><meta http-equiv="Content-Type" content="text/html charset=windows-1252"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;">Hi,<div><br></div><div>Mounted GlusterFS volume with native mount and ACL’s are working as expected, mounted same volume with nfs protocol and the result is exactly the same as I described below. ACL set to files work and ACL set to directory do not work as expected. Ohh, I’m out of ideas :(</div><div><br></div><div>J.<br><div><div>On 30 Jul 2015, at 16:38, Jüri Palis &lt;<a href="mailto:jyri.palis@gmail.com">jyri.palis@gmail.com</a>&gt; wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><meta http-equiv="Content-Type" content="text/html charset=windows-1252"><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><div><br></div><div><div>[2015-07-30 13:16:01.002296] T [rpcsvc.c:316:rpcsvc_program_actor] 0-rpc-service: Actor found: ACL3 - SETACL for 10.1.1.32:742</div><div>[2015-07-30 13:16:01.002325] T [MSGID: 0] [acl3.c:672:acl3svc_setacl] 0-nfs-ACL: FH to Volume: acltest</div><div>[2015-07-30 13:16:01.004287] T [rpcsvc.c:1319:rpcsvc_submit_generic] 0-rpc-service: submitted reply for rpc-message (XID: 0x16185ddc, Program: ACL3, ProgVers: 3, Proc: 2) to rpc-transport (socket.nfs-server)</div><div>[2015-07-30 13:16:22.823894] T [rpcsvc.c:316:rpcsvc_program_actor] 0-rpc-service: Actor found: ACL3 - GETACL for 10.1.1.32:742</div><div>[2015-07-30 13:16:22.823900] T [MSGID: 0] [acl3.c:532:acl3svc_getacl] 0-nfs-ACL: FH to Volume: acltest</div><div>[2015-07-30 13:16:22.824218] D [MSGID: 0] [client-rpc-fops.c:1156:client3_3_getxattr_cbk] 0-acltest-client-1: remote operation failed: No data available. Path: &lt;gfid:12f02b4f-a181-47d4-9b5b-69e889483570&gt; (12f02b4f-a181-47d4-9b5b-69e889483570). Key: system.posix_acl_default</div><div>[2015-07-30 13:16:22.825675] D [MSGID: 0] [client-rpc-fops.c:1156:client3_3_getxattr_cbk] 0-acltest-client-0: remote operation failed: No data available. Path: &lt;gfid:12f02b4f-a181-47d4-9b5b-69e889483570&gt; (12f02b4f-a181-47d4-9b5b-69e889483570). Key: system.posix_acl_default</div><div>[2015-07-30 13:16:22.825713] T [rpcsvc.c:1319:rpcsvc_submit_generic] 0-rpc-service: submitted reply for rpc-message (XID: 0x63815edc, Program: ACL3, ProgVers: 3, Proc: 1) to rpc-transport (socket.nfs-server)</div><div>[2015-07-30 13:16:22.828243] T [rpcsvc.c:316:rpcsvc_program_actor] 0-rpc-service: Actor found: ACL3 - SETACL for 10.1.1.32:742</div><div>[2015-07-30 13:16:22.828266] T [MSGID: 0] [acl3.c:672:acl3svc_setacl] 0-nfs-ACL: FH to Volume: acltest</div><div>[2015-07-30 13:16:22.829931] T [rpcsvc.c:1319:rpcsvc_submit_generic] 0-rpc-service: submitted reply for rpc-message (XID: 0x75815edc, Program: ACL3, ProgVers: 3, Proc: 2) to rpc-transport (socket.nfs-server)</div></div><div><br></div><div>Enabled trace for few moments and tried to make any sense of it by searching for lines containing ‘acl’ &nbsp;according to this everything kind of works except lines which state that “remote operation failed” GlusterFS failed to replicate or commit acl changes?&nbsp;</div><br><div><blockquote type="cite"><div style="font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px;"><br><br>On 07/30/2015 06:22 PM, Jüri Palis wrote:<br><blockquote type="cite">Hi,<br><br>Thanks Niels, your hints about those two options did the trick although<br>I had to enable both of them and I had to add nscd (sssd provides user<br>identities) to this mix as well.<br><br>Now back to the problem with ACL’s. Is your test setup something like<br>this: GlusterFS 3.7.2 replicated volume on Centos/RHEL 7 and client or<br>clients accessing GlusterFS volumes by NFS protocol, correct?<br><br></blockquote>As Jiffin had suggested, did you try the same command on GlusterFS Native mount?<br><br>Log levels can be increased to TRACE/DEBUG mode using the command 'gluster vol set &lt;volname&gt; diagnostics.client-log-level [TRACE,DEBUG]'<br><br>Also please capture a packet trace on the server-side using the command - 'tcpdump -i any -s 0 -w /var/tmp/nfs-acl.pcap tcp and not port 22'<br><br>Verify the packets sent by Gluster-NFS process to the brick process to set the ACL.<br><br>Thanks,<br>Soumya<br><br><blockquote type="cite"># gluster volume info acltest<br>Volume Name: acltest<br>Type: Replicate<br>Volume ID: 9e0de3f5-45ba-4612-a4f1-16bc5d1eb985<br>Status: Started<br>Number of Bricks: 1 x 2 = 2<br>Transport-type: tcp<br>Bricks:<br>Brick1: vfs-node-01:/data/gfs/acltest/brick0/brick<br>Brick2: vfs-node-02:/data/gfs/acltest/brick0/brick<br>Options Reconfigured:<br>server.manage-gids: on<br>nfs.server-aux-gids: on<br>performance.readdir-ahead: on<br>server.event-threads: 32<br>performance.cache-size: 2GB<br>storage.linux-aio: on<br>nfs.disable: off<br>performance.write-behind-window-size: 1GB<br>performance.nfs.io-cache: on<br>performance.nfs.write-behind-window-size: 250MB<br>performance.nfs.stat-prefetch: on<br>performance.nfs.read-ahead: on<br>performance.nfs.io-threads: on<br>cluster.readdir-optimize: on<br>network.remote-dio: on<br>auth.allow: 10.1.1.32,10.1.1.42<br>diagnostics.latency-measurement: on<br>diagnostics.count-fop-hits: on<br>nfs.rpc-auth-allow: 10.1.1.32,10.1.1.42<br>nfs.trusted-sync: on<br><br>Maybe there is a way to increase verbosity of nfs server which could<br>help me to trace this problem. I did not find any good hints for<br>increasing verbosity of nfs server in documentation.<br><br>Regards,<br>J.<br><br>On 30 Jul 2015, at 10:09, Jiffin Tony Thottan &lt;<a href="mailto:jthottan@redhat.com">jthottan@redhat.com</a><br>&lt;<a href="mailto:jthottan@redhat.com">mailto:jthottan@redhat.com</a>&gt;&gt; wrote:<br><br><blockquote type="cite"><br><br>On 29/07/15 20:14, Niels de Vos wrote:<br><blockquote type="cite">On Wed, Jul 29, 2015 at 05:22:31PM +0300, Jüri Palis wrote:<br><blockquote type="cite">Hi,<br><br>Another issue with NFS and sec=sys mode. As we all know there is a<br>limit of 15 security ids involved when running NFS in sec=sys mode.<br>This limit makes effective and granular usage of ACL assigned through<br>groups almost unusable. One way to overcome this limit is to use<br>kerberised NFS but GlusterFS does not natively support this access<br>mode . Another option, at least &nbsp;according to one email thread, states<br>that &nbsp;GlusterFS has an option server.manage-gids which should mitigate<br>this limit and raise it to 90 something. &nbsp;Is this the option, which<br>can be used for increasing sec=sys limit. Sadly documentation does not<br>have clear description about this option, what exactly this option<br>does and how it should be used.<br></blockquote>server.manage-gids is an option to resolve the groups of a uid in the<br>brick process. You probably need to also use the nfs.server-aux-gids<br>option so that the NFS-server resolves the gids of the uid accessing the<br>NFS-server.<br><br>The nfs.server-aux-gids option is used to overcome the<br>AUTH_SYS/AUTH_UNIX limit of (I thought 32?) groups.<br><br>The server.manage-gids option is used to overcome the GlusterFS protocol<br>limit of ~93 groups.<br><br>If your users do not belong to 90+ groups, you would not need to set the<br>server.manage-gids option, and nfs.server-aux-gids might be sufficient.<br><br>HTH,<br>Niels<br><br><blockquote type="cite">J.<br><br><br>On 29 Jul 2015, at 16:16, Jiffin Tony Thottan &lt;<a href="mailto:jthottan@redhat.com">jthottan@redhat.com</a><br>&lt;<a href="mailto:jthottan@redhat.com">mailto:jthottan@redhat.com</a>&gt;&gt; wrote:<br><br><blockquote type="cite"><br>On 29/07/15 18:04, Jüri Palis wrote:<br><blockquote type="cite">Hi,<br><br>setfacl for dir on local filesystem:<br><br>1. set acl setfacl -m g:x_meie_sec-test02:rx test<br>2. get acl<br><br># getfacl test<br>user::rwx<br>group::r-x<br>group:x_meie_sec-test02:r-x<br>mask::r-x<br>other::r-x<br><br>setfacl for dir on GlusterFS volume which is NFS mounted to client<br>system<br><br>1. same command is used for setting ACE, no error is returned by<br>that command<br>2. get acl<br><br>#getfacl test<br>user::rwx<br>group::r-x<br>other::---<br><br><br>If I use ordinary file as a target on GlusterFS like this<br><br>setfacl -m g:x_meie_sec-test02:rw dummy<br><br>then ACE entry is set for file dummy stored on GlusterFS<br><br># getfacl dummy<br>user::rw-<br>group::r--<br>group:x_meie_sec-test02:rw-<br>mask::rw-<br>other::—<br><br>So, as you can see setting ACLs for files works but does not work<br>for directories.<br><br>This all is happening on CentOS7, running GlusterFS 3.7.2<br></blockquote>Hi Jyri,<br><br>It seems there are couple of issues ,<br><br>1.) &nbsp;when u set a named group acl for file/directory, it clears the<br>permission of others too.<br>2.) &nbsp;named group acl is not working properly for directories ,<br><br>I will try the same on my setup and share my findings.<br>--<br>Jiffin<br></blockquote></blockquote></blockquote><br>In my setup (glusterfs 3.7.2 and RHEL 7.1 client) it worked properly<br><br>I followed the same steps mentioned by you.<br>#cd /mnt<br># mkdir dir<br># touch file<br># getfacl file<br># file: file<br># owner: root<br># group: root<br>user::rw-<br>group::r--<br>other::r--<br><br># getfacl dir<br># file: dir<br># owner: root<br># group: root<br>user::rwx<br>group::r-x<br>other::r-x<br><br># setfacl -m g:gluster:rw file<br># getfacl file<br># file: file<br># owner: root<br># group: root<br>user::rw-<br>group::r--<br>group:gluster:rw-<br>mask::rw-<br>other::r--<br><br>setfacl -m g:gluster:r-x dir<br>getfacl dir<br># file: dir<br># owner: root<br># group: root<br>user::rwx<br>group::r-x<br>group:gluster:r-x<br>mask::r-x<br>other::r-x<br><br><br>So can u share the following &nbsp;information from the server.<br>1.) gluster vol info<br>2.) nfs.log (nfs-server log)<br>3.) brick logs<br><br>and also can u try the same on fuse mount(gluster native mount).<br><br>--<br>Jiffin<br><br><blockquote type="cite"><blockquote type="cite"><blockquote type="cite"><blockquote type="cite">J.<br>On 29 Jul 2015, at 15:16, Jiffin Thottan &lt;<a href="mailto:jthottan@redhat.com">jthottan@redhat.com</a><br>&lt;<a href="mailto:jthottan@redhat.com">mailto:jthottan@redhat.com</a>&gt;&gt; wrote:<br><br><blockquote type="cite">----- Original Message -----<br>From: "Jüri Palis" &lt;<a href="mailto:jyri.palis@gmail.com">jyri.palis@gmail.com</a><br>&lt;<a href="mailto:jyri.palis@gmail.com">mailto:jyri.palis@gmail.com</a>&gt;&gt;<br>To:<span class="Apple-converted-space">&nbsp;</span><a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><span class="Apple-converted-space">&nbsp;</span>&lt;<a href="mailto:gluster-users@gluster.org">mailto:gluster-users@gluster.org</a>&gt;<br>Sent: Wednesday, July 29, 2015 4:19:20 PM<br>Subject: [Gluster-users] GlusterFS 3.7.2 and ACL<br><br>Hi<br><br>Setup:<br>GFS 3.7.2, NFS is used for host access<br><br>Problem:<br>POSIX ACL work correctly when ACLs are applied to files but do<br>not work when ACLs are applied to directories on GFS volumes.<br><br>How can I debug this issue more deeply?<br><br>Can you please explain the issue with more details, i.e what<br>exactly not working properly , is it setting acl or any<br>functionality issue, in which client?<br>__<br>Jiffin<br><br>Regards,<br>Jyri<br>_______________________________________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><span class="Apple-converted-space">&nbsp;</span>&lt;<a href="mailto:Gluster-users@gluster.org">mailto:Gluster-users@gluster.org</a>&gt;<br><a href="http://www.gluster.org/mailman/listinfo/gluster-users">http://www.gluster.org/mailman/listinfo/gluster-users</a><br></blockquote>_______________________________________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><span class="Apple-converted-space">&nbsp;</span>&lt;<a href="mailto:Gluster-users@gluster.org">mailto:Gluster-users@gluster.org</a>&gt;<br><a href="http://www.gluster.org/mailman/listinfo/gluster-users">http://www.gluster.org/mailman/listinfo/gluster-users</a><br></blockquote>_______________________________________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><span class="Apple-converted-space">&nbsp;</span>&lt;<a href="mailto:Gluster-users@gluster.org">mailto:Gluster-users@gluster.org</a>&gt;<br><a href="http://www.gluster.org/mailman/listinfo/gluster-users">http://www.gluster.org/mailman/listinfo/gluster-users</a><br></blockquote>_______________________________________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><span class="Apple-converted-space">&nbsp;</span>&lt;<a href="mailto:Gluster-users@gluster.org">mailto:Gluster-users@gluster.org</a>&gt;<br><a href="http://www.gluster.org/mailman/listinfo/gluster-users">http://www.gluster.org/mailman/listinfo/gluster-users</a><br></blockquote>_______________________________________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><span class="Apple-converted-space">&nbsp;</span>&lt;<a href="mailto:Gluster-users@gluster.org">mailto:Gluster-users@gluster.org</a>&gt;<br><a href="http://www.gluster.org/mailman/listinfo/gluster-users">http://www.gluster.org/mailman/listinfo/gluster-users</a><br></blockquote><br>_______________________________________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><span class="Apple-converted-space">&nbsp;</span>&lt;<a href="mailto:Gluster-users@gluster.org">mailto:Gluster-users@gluster.org</a>&gt;<br><a href="http://www.gluster.org/mailman/listinfo/gluster-users">http://www.gluster.org/mailman/listinfo/gluster-users</a><br></blockquote><br><br><br>_______________________________________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br><a href="http://www.gluster.org/mailman/listinfo/gluster-users">http://www.gluster.org/mailman/listinfo/gluster-users</a></blockquote></div></blockquote></div><br></div></blockquote></div><br></div></body></html>