<div dir="ltr">Hi Gluster team &amp; users, <div><br></div><div>We are seeing multiple instances of the following error: &quot;remote operation failed [No such file or directory]&quot; on our gluster clients, and this has affects cases where we have some files hosted and are opened/memory-mapped<br></div><div><br></div><div><div><font face="arial, helvetica, sans-serif">We are seeing this error after we recently added another brick to a replica 2 gluster volume (A couple of days back), making it a volume supported by three replicated bricks (we performed this operation a couple of days ago).  Any information on this error would be useful. If needed we can supply any of the client or brick logs. <br></font></div></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div><span style="font-family:monospace,monospace">12447146-[2016-10-21 14:50:07.806214] I [dict.c:473:dict_get] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.7.15/xlator/debug/io-stats.so(io_stats_lookup_cbk+0x148) [0x7f68a0cc5f68] --&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.7.15/xlator/system/posix-acl.so(posix_acl_lookup_cbk+0x284) [0x7f68a0aada94] --&gt;/usr/lib/x86_64-linux-gnu/libglusterfs.so.0(dict_get+0xac) [0x7f68a7f30dbc] ) 6-dict: !this || key=system.posix_acl_default [Invalid argument]</span><br></div><div><div><font face="monospace, monospace">12447579-[2016-10-21 14:50:07.837879] I [dict.c:473:dict_get] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.7.15/xlator/debug/io-stats.so(io_stats_lookup_cbk+0x148) [0x7f68a0cc5f68] --&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.7.15/xlator/system/posix-acl.so(posix_acl_lookup_cbk+0x230) [0x7f68a0aada40] --&gt;/usr/lib/x86_64-linux-gnu/libglusterfs.so.0(dict_get+0xac) [0x7f68a7f30dbc] ) 6-dict: !this || key=system.posix_acl_access [Invalid argument]</font></div><div><font face="monospace, monospace">12448011-[2016-10-21 14:50:07.837928] I [dict.c:473:dict_get] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.7.15/xlator/debug/io-stats.so(io_stats_lookup_cbk+0x148) [0x7f68a0cc5f68] --&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.7.15/xlator/system/posix-acl.so(posix_acl_lookup_cbk+0x284) [0x7f68a0aada94] --&gt;/usr/lib/x86_64-linux-gnu/libglusterfs.so.0(dict_get+0xac) [0x7f68a7f30dbc] ) 6-dict: !this || key=system.posix_acl_default [Invalid argument]</font></div><div><font face="monospace, monospace">12448444:[2016-10-21 14:50:10.784317] W [MSGID: 114031] [client-rpc-fops.c:3057:client3_3_readv_cbk] 6-volume1-client-1: r<span style="background-color:rgb(255,255,0)">emote operation failed [No such file or directory]</span></font></div><div><font face="monospace, monospace">12448608:[2016-10-21 14:50:10.784757] W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-0: remote operation failed [No such file or directory]</font></div><div><font face="monospace, monospace">12448772:[2016-10-21 14:50:10.784763] W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-1: remote operation failed [No such file or directory]</font></div><div><font face="monospace, monospace">12448936:[2016-10-21 14:50:10.785575] W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-2: remote operation failed [No such file or directory]</font></div><div><font face="monospace, monospace">12449100-[2016-10-21 14:50:10.786208] W [MSGID: 108008] [afr-read-txn.c:244:afr_read_txn] 6-volume1-replicate-0: Unreadable subvolume -1 found with event generation 3 for gfid 10495074-82d0-4961-8212-5a4f32895f37. (Possible split-brain)</font></div><div><font face="monospace, monospace">12449328:[2016-10-21 14:50:10.787439] W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-2: remote operation failed [No such file or directory]</font></div><div><font face="monospace, monospace">12449492-[2016-10-21 14:50:10.788730] E [MSGID: 109040] [dht-helper.c:1190:dht_migration_complete_check_task] 6-volume1-dht: (null): failed to lookup the file on volume1-dht [Stale file handle]</font></div><div><font face="monospace, monospace">12449677-[2016-10-21 14:50:10.788778] W [fuse-bridge.c:2227:fuse_readv_cbk] 0-glusterfs-fuse: 622070230: READ =&gt; -1 gfid=10495074-82d0-4961-8212-5a4f32895f37 fd=0x7f68951a75bc (Stale file handle)</font></div><div><font face="monospace, monospace">12449864:The message &quot;W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-1: remote operation failed [No such file or directory]&quot; repeated 2 times between [2016-10-21 14:50:10.784763] and [2016-10-21 14:50:10.789213]</font></div><div><font face="monospace, monospace">12450100:[2016-10-21 14:50:10.790080] W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-2: remote operation failed [No such file or directory]</font></div><div><font face="monospace, monospace">12450264:The message &quot;W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-0: remote operation failed [No such file or directory]&quot; repeated 3 times between [2016-10-21 14:50:10.784757] and [2016-10-21 14:50:10.791118]</font></div><div><font face="monospace, monospace">12450500:[2016-10-21 14:50:10.791176] W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-1: remote operation failed [No such file or directory]</font></div><div><font face="monospace, monospace">12450664-[2016-10-21 14:50:10.793395] W [fuse-bridge.c:2227:fuse_readv_cbk] 0-glusterfs-fuse: 622070238: READ =&gt; -1 gfid=10495074-82d0-4961-8212-5a4f32895f37 fd=0x7f68951a75bc (Stale file handle)</font></div><div><font face="monospace, monospace">12450851-[2016-10-21 14:50:11.036804] I [dict.c:473:dict_get] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.7.15/xlator/debug/io-stats.so(io_stats_lookup_cbk+0x148) [0x7f68a0cc5f68] --&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.7.15/xlator/system/posix-acl.so(posix_acl_lookup_cbk+0x230) [0x7f68a0aada40] --&gt;/usr/lib/x86_64-linux-gnu/libglusterfs.so.0(dict_get+0xac) [0x7f68a7f30dbc] ) 6-dict: !this || key=system.posix_acl_access [Invalid argument]</font></div><div><font face="monospace, monospace">12451283-[2016-10-21 14:50:11.036889] I [dict.c:473:dict_get] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.7.15/xlator/debug/io-stats.so(io_stats_lookup_cbk+0x148) [0x7f68a0cc5f68] --&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.7.15/xlator/system/posix-acl.so(posix_acl_lookup_cbk+0x284) [0x7f68a0aada94] --&gt;/usr/lib/x86_64-linux-gnu/libglusterfs.so.0(dict_get+0xac) [0x7f68a7f30dbc] ) 6-dict: !this || key=system.posix_acl_default [Invalid argument]</font></div><div><font face="monospace, monospace">12451716-The message &quot;W [MSGID: 108008] [afr-read-txn.c:244:afr_read_txn] 6-volume1-replicate-0: Unreadable subvolume -1 found with event generation 3 for gfid 10495074-82d0-4961-8212-5a4f32895f37. (Possible split-brain)&quot; repeated 3 times between [2016-10-21 14:50:10.786208] and [2016-10-21 14:50:11.223498]</font></div><div><font face="monospace, monospace">12452016:[2016-10-21 14:50:11.223949] W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-0: remote operation failed [No such file or directory]</font></div><div><font face="monospace, monospace">12452180:The message &quot;W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-2: remote operation failed [No such file or directory]&quot; repeated 2 times between [2016-10-21 14:50:10.790080] and [2016-10-21 14:50:11.224945]</font></div><div><font face="monospace, monospace">12452416-[2016-10-21 14:50:11.225264] W [MSGID: 108008] [afr-read-txn.c:244:afr_read_txn] 6-volume1-replicate-0: Unreadable subvolume -1 found with event generation 3 for gfid 10495074-82d0-4961-8212-5a4f32895f37. (Possible split-brain)</font></div><div><font face="monospace, monospace">12452644:The message &quot;W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-1: remote operation failed [No such file or directory]&quot; repeated 2 times between [2016-10-21 14:50:10.791176] and [2016-10-21 14:50:11.225783]</font></div><div><font face="monospace, monospace">12452880:[2016-10-21 14:50:11.226648] W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-2: remote operation failed [No such file or directory]</font></div><div><font face="monospace, monospace">12453044-[2016-10-21 14:50:11.228115] W [fuse-bridge.c:2227:fuse_readv_cbk] 0-glusterfs-fuse: 622070413: READ =&gt; -1 gfid=10495074-82d0-4961-8212-5a4f32895f37 fd=0x7f68951a75bc (Stale file handle)</font></div><div><font face="monospace, monospace">12453231:The message &quot;W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-0: remote operation failed [No such file or directory]&quot; repeated 2 times between [2016-10-21 14:50:11.223949] and [2016-10-21 14:50:11.239505]</font></div><div><font face="monospace, monospace">12453467:[2016-10-21 14:50:11.239646] W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-1: remote operation failed [No such file or directory]</font></div><div><font face="monospace, monospace">12453631-The message &quot;W [MSGID: 108008] [afr-read-txn.c:244:afr_read_txn] 6-volume1-replicate-0: Unreadable subvolume -1 found with event generation 3 for gfid 10495074-82d0-4961-8212-5a4f32895f37. (Possible split-brain)&quot; repeated 2 times between [2016-10-21 14:50:11.225264] and [2016-10-21 14:50:11.241102]</font></div><div><font face="monospace, monospace">12453931:[2016-10-21 14:50:11.241441] W [MSGID: 114031] [client-rpc-fops.c:1572:client3_3_fstat_cbk] 6-volume1-client-0: remote operation failed [No such file or directory]</font></div><div><font face="monospace, monospace">12454095-[2016-10-21 14:50:11.243704] W [fuse-bridge.c:2227:fuse_readv_cbk] 0-glusterfs-fuse: 622070416: READ =&gt; -1 gfid=10495074-82d0-4961-8212-5a4f32895f37 fd=0x7f68951a75bc (Stale file handle)</font></div><div><br></div></div><div>Below is the current volume status/configuration:</div><div><div><font face="monospace, monospace">$ sudo gluster volume status</font></div><div><font face="monospace, monospace">Status of volume: volume1</font></div><div><font face="monospace, monospace">Gluster process                             TCP Port  RDMA Port  Online  Pid</font></div><div><font face="monospace, monospace">------------------------------------------------------------------------------</font></div><div><font face="monospace, monospace">Brick ip-172-25-2-91.us-west-1.compute.inte</font></div><div><font face="monospace, monospace">rnal:/data/glusterfs/volume1/brick1/brick   49152     0          Y       26520</font></div><div><font face="monospace, monospace">Brick <a href="http://ip-172-25-2-206.us-west-1.compute.int">ip-172-25-2-206.us-west-1.compute.int</a></font></div><div><font face="monospace, monospace">ernal:/data/glusterfs/volume1/brick1/brick  49152     0          Y       17782</font></div><div><font face="monospace, monospace">Brick <a href="http://ip-172-25-33-75.us-west-1.compute.int">ip-172-25-33-75.us-west-1.compute.int</a></font></div><div><font face="monospace, monospace">ernal:/data/glusterfs/volume1/brick1/brick  49152     0          Y       7225</font></div><div><font face="monospace, monospace">NFS Server on localhost                     2049      0          Y       7245</font></div><div><font face="monospace, monospace">Self-heal Daemon on localhost               N/A       N/A        Y       7253</font></div><div><font face="monospace, monospace">NFS Server on <a href="http://ip-172-25-2-206.us-west-1.com">ip-172-25-2-206.us-west-1.com</a></font></div><div><font face="monospace, monospace">pute.internal                               2049      0          Y       17436</font></div><div><font face="monospace, monospace">Self-heal Daemon on ip-172-25-2-206.us-west</font></div><div><font face="monospace, monospace">-1.compute.internal                         N/A       N/A        Y       17456</font></div><div><font face="monospace, monospace">NFS Server on ip-172-25-2-91.us-west-1.comp</font></div><div><font face="monospace, monospace">ute.internal                                2049      0          Y       10576</font></div><div><font face="monospace, monospace">Self-heal Daemon on ip-172-25-2-91.us-west-</font></div><div><font face="monospace, monospace">1.compute.internal                          N/A       N/A        Y       10610</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Task Status of Volume volume1</font></div><div><font face="monospace, monospace">------------------------------------------------------------------------------</font></div><div><font face="monospace, monospace">There are no active volume tasks</font></div></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"><div>$ sudo gluster volume info</div><div>Volume Name: volume1</div><div>Type: Replicate</div><div>Volume ID: 3bcca83e-2be5-410c-9a23-b159f570ee7e</div><div>Status: Started</div><div>Number of Bricks: 1 x 3 = 3</div><div>Transport-type: tcp</div><div>Bricks:</div><div>Brick1: ip-172-25-2-91.us-west-1.compute.internal:/data/glusterfs/volume1/brick1/brick</div><div>Brick2: ip-172-25-2-206.us-west-1.compute.internal:/data/glusterfs/volume1/brick1/brick</div><div>Brick3: ip-172-25-33-75.us-west-1.compute.internal:/data/glusterfs/volume1/brick1/brick  &lt;-- brick added a couple of days back</div><div>Options Reconfigured:</div><div>cluster.quorum-type: fixed</div><div>cluster.quorum-count: 2</div><div><br></div><div>$ From the client log: mnt-repos-volume1.log.1</div><div><div>  1: volume volume1-client-0</div><div>  2:     type protocol/client</div><div>  3:     option clnt-lk-version 1</div><div>  4:     option volfile-checksum 0</div><div>  5:     option volfile-key /volume1</div><div>  6:     option client-version 3.7.15</div><div>  7:     option process-uuid production-collab-8-18739-2016/10/04-20:46:19:350684-volume1-client-0-6-0</div><div>  8:     option fops-version 1298437</div><div>  9:     option ping-timeout 42</div><div> 10:     option remote-host ip-172-25-2-91.us-west-1.compute.internal</div><div> 11:     option remote-subvolume /data/glusterfs/volume1/brick1/brick</div><div> 12:     option transport-type socket</div><div> 13:     option send-gids true</div><div> 14: end-volume</div><div> 15:</div><div> 16: volume volume1-client-1</div><div> 17:     type protocol/client</div><div> 18:     option ping-timeout 42</div><div> 19:     option remote-host ip-172-25-2-206.us-west-1.compute.internal</div><div> 20:     option remote-subvolume /data/glusterfs/volume1/brick1/brick</div><div> 21:     option transport-type socket</div><div> 22:     option send-gids true</div><div> 23: end-volume</div><div> 24:</div><div> 25: volume volume1-client-2</div><div> 26:     type protocol/client</div><div> 27:     option ping-timeout 42</div><div> 28:     option remote-host ip-172-25-33-75.us-west-1.compute.internal</div><div> 29:     option remote-subvolume /data/glusterfs/volume1/brick1/brick</div><div> 30:     option transport-type socket</div><div> 31:     option send-gids true</div><div> 32: end-volume</div><div> 33:</div><div> 34: volume volume1-replicate-0</div><div> 35:     type cluster/replicate</div><div> 36:     option quorum-type fixed</div><div> 37:     option quorum-count 2</div><div> 38:     subvolumes volume1-client-0 volume1-client-1 volume1-client-2</div><div> 39: end-volume</div><div> 40:</div><div> 41: volume volume1-dht</div><div> 42:     type cluster/distribute</div><div> 43:     subvolumes volume1-replicate-0</div><div> 44: end-volume</div><div> 45:</div><div> 46: volume volume1-write-behind</div><div> 47:     type performance/write-behind</div><div> 48:     subvolumes volume1-dht</div><div> 49: end-volume</div><div> 50:</div><div> 51: volume volume1-read-ahead</div><div> 52:     type performance/read-ahead</div><div> 53:     subvolumes volume1-write-behind</div><div> 54: end-volume</div><div> 55:</div><div> 56: volume volume1-io-cache</div><div> 57:     type performance/io-cache</div><div> 58:     subvolumes volume1-read-ahead</div><div> 59: end-volume</div><div> 60:</div><div> 61: volume volume1-quick-read</div><div> 62:     type performance/quick-read</div><div> 63:     subvolumes volume1-io-cache</div><div> 64: end-volume</div><div> 65:</div><div> 66: volume volume1-open-behind</div><div> 67:     type performance/open-behind</div><div> 68:     subvolumes volume1-quick-read</div><div> 69: end-volume</div><div> 70:</div><div> 71: volume volume1-md-cache</div><div> 72:     type performance/md-cache</div><div> 73:     option cache-posix-acl true</div><div> 74:     subvolumes volume1-open-behind</div><div> 75: end-volume</div><div> 76:</div><div> 77: volume volume1</div><div> 78:     type debug/io-stats</div><div> 79:     option log-level INFO</div><div> 80:     option latency-measurement off</div><div> 81:     option count-fop-hits off</div><div> 82:     subvolumes volume1-md-cache</div><div> 83: end-volume</div><div> 84:</div><div> 85: volume posix-acl-autoload</div><div> 86:     type system/posix-acl</div><div> 87:     subvolumes volume1</div><div> 88: end-volume</div><div> 89:</div><div> 90: volume meta-autoload</div><div> 91:     type meta</div><div> 92:     subvolumes posix-acl-autoload</div><div> 93: end-volume<br></div><div> 94:</div><div>+------------------------------------------------------------------------------+</div></div></font></div><div><br></div><div><font face="arial, helvetica, sans-serif">Thanks</font></div><div><font face="arial, helvetica, sans-serif">Rama</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"><br></font></div></div>