<div dir="ltr">Hi Gluster Team,<div><br></div><div>We saw a bunch of  intermittent <span style="font-family:monospace,monospace">EBADF</span> errors on clients, We saw these errors immediately after an add-brick operation followed by a self-heal of that volume. We are wondering if these errors might close file descriptors prematurely. causing problems on files we had open/memory-mapped</div><div><br></div><div>Below are the errors that we saw.  Any thoughts on this , as well as input in avoiding this when we do live add-brick operations in the future is much appreciated.</div><div><br></div><div><div><font face="monospace, monospace">[2016-10-19 15:11:53.372930] W [fuse-resolve.c:556:fuse_resolve_fd] 0-fuse-resolve: migration of basefd (ptr:0x7f6d5c003e7c inode-gfid:b1e19a5b-7867-4cb3-8bf0-545df3c5d556) did not complete, failing fop with EBADF (old-subvolume:meta-autoload-0 new-subvolume:meta-autoload-2)</font></div><div><font face="monospace, monospace">[2016-10-19 15:11:53.373058] W [fuse-resolve.c:556:fuse_resolve_fd] 0-fuse-resolve: migration of basefd (ptr:0x7f6d5c003e7c inode-gfid:b1e19a5b-7867-4cb3-8bf0-545df3c5d556) did not complete, failing fop with EBADF (old-subvolume:meta-autoload-0 new-subvolume:meta-autoload-2)</font></div><div><font face="monospace, monospace">[2016-10-19 15:11:53.373105] W [fuse-resolve.c:556:fuse_resolve_fd] 0-fuse-resolve: migration of basefd (ptr:0x7f6d5c0065b8 inode-gfid:9231d39d-d88c-4a62-b25d-fad232ec9b98) did not complete, failing fop with EBADF (old-subvolume:meta-autoload-0 new-subvolume:meta-autoload-2)</font></div><div><font face="monospace, monospace">[2016-10-19 15:11:53.373121] W [fuse-resolve.c:556:fuse_resolve_fd] 0-fuse-resolve: migration of basefd (ptr:0x7f6d5c0065b8 inode-gfid:9231d39d-d88c-4a62-b25d-fad232ec9b98) did not complete, failing fop with EBADF (old-subvolume:meta-autoload-0 new-subvolume:meta-autoload-2)</font></div><div><font face="monospace, monospace">[2016-10-19 15:11:53.373138] W [fuse-resolve.c:556:fuse_resolve_fd] 0-fuse-resolve: migration of basefd (ptr:0x7f6d5c005ac0 inode-gfid:a0b02209-59c9-418b-bff0-fb31be01b3e8) did not complete, failing fop with EBADF (old-subvolume:meta-autoload-0 new-subvolume:meta-autoload-2)</font></div><div><font face="monospace, monospace">[2016-10-19 15:11:53.373155] W [fuse-resolve.c:556:fuse_resolve_fd] 0-fuse-resolve: migration of basefd (ptr:0x7f6d5c005ac0 inode-gfid:a0b02209-59c9-418b-bff0-fb31be01b3e8) did not complete, failing fop with EBADF (old-subvolume:meta-autoload-0 new-subvolume:meta-autoload-2)</font></div><div><font face="monospace, monospace">[2016-10-19 15:11:53.373172] W [fuse-resolve.c:556:fuse_resolve_fd] 0-fuse-resolve: migration of basefd (ptr:0x7f6d5c004e18 inode-gfid:c490e1fe-3ac8-4c11-9c62-fc8672a27737) did not complete, failing fop with EBADF (old-subvolume:meta-autoload-0 new-subvolume:meta-autoload-2)</font></div><div><font face="monospace, monospace">[2016-10-19 15:11:53.373199] W [fuse-resolve.c:556:fuse_resolve_fd] 0-fuse-resolve: migration of basefd (ptr:0x7f6d5c004e18 inode-gfid:c490e1fe-3ac8-4c11-9c62-fc8672a27737) did not complete, failing fop with EBADF (old-subvolume:meta-autoload-0 new-subvolume:meta-autoload-2)</font></div><div><font face="monospace, monospace">[2016-10-19 15:11:53.373231] W [fuse-resolve.c:556:fuse_resolve_fd] 0-fuse-resolve: migration of basefd (ptr:0x7f6d5c0037bc inode-gfid:1aab19de-f4b1-47bf-8216-d174797ae64d) did not complete, failing fop with EBADF (old-subvolume:meta-autoload-0 new-subvolume:meta-autoload-2)</font></div><div><font face="monospace, monospace">[2016-10-19 15:11:53.373245] W [fuse-resolve.c:556:fuse_resolve_fd] 0-fuse-resolve: migration of basefd (ptr:0x7f6d5c0037bc inode-gfid:1aab19de-f4b1-47bf-8216-d174797ae64d) did not complete, failing fop with EBADF (old-subvolume:meta-autoload-0 new-subvolume:meta-autoload-2)</font></div><div><font face="monospace, monospace">[2016-10-19 15:11:53.373271] W [fuse-resolve.c:556:fuse_resolve_fd] 0-fuse-resolve: migration of basefd (ptr:0x7f6d5c004b90 inode-gfid:5c3d5a39-26f0-4211-a2f0-59de33ea5ade) did not complete, failing fop with EBADF (old-subvolume:meta-autoload-0 new-subvolume:meta-autoload-2)</font></div><div><font face="monospace, monospace">[2016-10-19 15:11:53.373287] W [fuse-resolve.c:556:fuse_resolve_fd] 0-fuse-resolve: migration of basefd (ptr:0x7f6d5c004b90 inode-gfid:5c3d5a39-26f0-4211-a2f0-59de33ea5ade) did not complete, failing fop with EBADF (old-subvolume:meta-autoload-0 new-subvolume:meta-autoload-2)</font></div></div><div><br></div><div>Volume information</div><div><div style="font-family:monospace,monospace;font-size:12.8px">$ sudo gluster volume info</div><div style="font-family:monospace,monospace;font-size:12.8px">Volume Name: volume1</div><div style="font-family:monospace,monospace;font-size:12.8px">Type: Replicate</div><div style="font-family:monospace,monospace;font-size:12.8px">Volume ID: 3bcca83e-2be5-410c-9a23-<wbr>b159f570ee7e</div><div style="font-family:monospace,monospace;font-size:12.8px">Status: Started</div><div style="font-family:monospace,monospace;font-size:12.8px">Number of Bricks: 1 x 3 = 3</div><div style="font-family:monospace,monospace;font-size:12.8px">Transport-type: tcp</div><div style="font-family:monospace,monospace;font-size:12.8px">Bricks:</div><div style="font-family:monospace,monospace;font-size:12.8px">Brick1: ip-172-25-2-91.us-west-1.<wbr>compute.internal:/data/<wbr>glusterfs/volume1/brick1/brick</div><div style="font-family:monospace,monospace;font-size:12.8px">Brick2: ip-172-25-2-206.us-west-1.<wbr>compute.internal:/data/<wbr>glusterfs/volume1/brick1/brick</div><div style="font-family:monospace,monospace;font-size:12.8px">Brick3: ip-172-25-33-75.us-west-1.<wbr>compute.internal:/data/<wbr>glusterfs/volume1/brick1/brick  &lt;-- brick added </div><div style="font-family:monospace,monospace;font-size:12.8px">Options Reconfigured:</div><div style="font-family:monospace,monospace;font-size:12.8px">cluster.quorum-type: fixed</div><div style="font-family:monospace,monospace;font-size:12.8px">cluster.quorum-count: 2</div></div><div><br></div><div><br></div><div><span style="font-family:monospace,monospace">Client translator configuration (from the client log)</span><br></div><div><div><font face="monospace, monospace">  1: volume volume1-client-0</font></div><div><font face="monospace, monospace">  2:     type protocol/client</font></div><div><font face="monospace, monospace">  3:     option ping-timeout 42</font></div><div><font face="monospace, monospace">  4:     option remote-host ip-172-25-2-91.us-west-1.compute.internal</font></div><div><font face="monospace, monospace">  5:     option remote-subvolume /data/glusterfs/volume1/brick1/brick</font></div><div><font face="monospace, monospace">  6:     option transport-type socket</font></div><div><font face="monospace, monospace">  7:     option send-gids true</font></div><div><font face="monospace, monospace">  8: end-volume</font></div><div><font face="monospace, monospace">  9:</font></div><div><font face="monospace, monospace"> 10: volume volume1-client-1</font></div><div><font face="monospace, monospace"> 11:     type protocol/client</font></div><div><font face="monospace, monospace"> 12:     option ping-timeout 42</font></div><div><font face="monospace, monospace"> 13:     option remote-host ip-172-25-2-206.us-west-1.compute.internal</font></div><div><font face="monospace, monospace"> 14:     option remote-subvolume /data/glusterfs/volume1/brick1/brick</font></div><div><font face="monospace, monospace"> 15:     option transport-type socket</font></div><div><font face="monospace, monospace"> 16:     option send-gids true</font></div><div><font face="monospace, monospace"> 17: end-volume</font></div><div><font face="monospace, monospace"> 18:</font></div><div><font face="monospace, monospace"> 19: volume volume1-client-2</font></div><div><font face="monospace, monospace"> 20:     type protocol/client</font></div><div><font face="monospace, monospace"> 21:     option ping-timeout 42</font></div><div><font face="monospace, monospace"> 22:     option remote-host ip-172-25-33-75.us-west-1.compute.internal</font></div><div><font face="monospace, monospace"> 23:     option remote-subvolume /data/glusterfs/volume1/brick1/brick</font></div><div><font face="monospace, monospace"> 24:     option transport-type socket</font></div><div><font face="monospace, monospace"> 25:     option send-gids true</font></div><div><font face="monospace, monospace"> 26: end-volume</font></div><div><font face="monospace, monospace"> 27:</font></div><div><font face="monospace, monospace"> 28: volume volume1-replicate-0</font></div><div><font face="monospace, monospace"> 29:     type cluster/replicate</font></div><div><font face="monospace, monospace"> 30:     option quorum-type fixed</font></div><div><font face="monospace, monospace"> 31:     option quorum-count 2</font></div><div><font face="monospace, monospace"> 32:     subvolumes volume1-client-0 volume1-client-1 volume1-client-2</font></div><div><font face="monospace, monospace"> 33: end-volume</font></div><div><font face="monospace, monospace"> 34:</font></div><div><font face="monospace, monospace"> 35: volume volume1-dht</font></div><div><font face="monospace, monospace"> 36:     type cluster/distribute</font></div><div><font face="monospace, monospace"> 37:     subvolumes volume1-replicate-0</font></div><div><font face="monospace, monospace"> 38: end-volume</font></div><div><font face="monospace, monospace"> 39:</font></div><div><font face="monospace, monospace"> 40: volume volume1-write-behind</font></div><div><font face="monospace, monospace"> 41:     type performance/write-behind</font></div><div><font face="monospace, monospace"> 42:     subvolumes volume1-dht</font></div><div><font face="monospace, monospace"> 43: end-volume</font></div><div><font face="monospace, monospace"> 44:</font></div><div><font face="monospace, monospace"> 45: volume volume1-read-ahead</font></div><div><font face="monospace, monospace"> 46:     type performance/read-ahead</font></div><div><font face="monospace, monospace"> 47:     subvolumes volume1-write-behind</font></div><div><font face="monospace, monospace"> 48: end-volume</font></div><div><font face="monospace, monospace"> 49:</font></div><div><font face="monospace, monospace"> 50: volume volume1-io-cache</font></div><div><font face="monospace, monospace"> 51:     type performance/io-cache</font></div><div><font face="monospace, monospace"> 52:     subvolumes volume1-read-ahead</font></div><div><font face="monospace, monospace"> 53: end-volume</font></div><div><font face="monospace, monospace"> 54:</font></div><div><font face="monospace, monospace"> 55: volume volume1-quick-read</font></div><div><font face="monospace, monospace"> 56:     type performance/quick-read</font></div><div><font face="monospace, monospace"> 57:     subvolumes volume1-io-cache</font></div><div><font face="monospace, monospace"> 58: end-volume</font></div><div><font face="monospace, monospace"> 59:</font></div><div><font face="monospace, monospace"> 60: volume volume1-open-behind</font></div><div><font face="monospace, monospace"> 61:     type performance/open-behind</font></div><div><font face="monospace, monospace"> 62:     subvolumes volume1-quick-read</font></div><div><font face="monospace, monospace"> 63: end-volume</font></div><div><font face="monospace, monospace"> 64:</font></div><div><font face="monospace, monospace"> 65: volume volume1-md-cache</font></div><div><font face="monospace, monospace"> 66:     type performance/md-cache</font></div><div><font face="monospace, monospace"> 67:     option cache-posix-acl true</font></div><div><font face="monospace, monospace"> 68:     subvolumes volume1-open-behind</font></div><div><font face="monospace, monospace"> 69: end-volume</font></div><div><font face="monospace, monospace"> 70:</font></div><div><font face="monospace, monospace"> 71: volume volume1</font></div><div><font face="monospace, monospace"> 72:     type debug/io-stats</font></div><div><font face="monospace, monospace"> 73:     option log-level INFO</font></div><div><font face="monospace, monospace"> 74:     option latency-measurement off</font></div><div><font face="monospace, monospace"> 75:     option count-fop-hits off</font></div><div><font face="monospace, monospace"> 76:     subvolumes volume1-md-cache</font></div><div><font face="monospace, monospace"> 77: end-volume</font></div><div><font face="monospace, monospace"> 78:</font></div><div><font face="monospace, monospace"> 79: volume posix-acl-autoload</font></div><div><font face="monospace, monospace"> 80:     type system/posix-acl</font></div><div><font face="monospace, monospace"> 81:     subvolumes volume1</font></div><div><font face="monospace, monospace"> 82: end-volume</font></div><div><font face="monospace, monospace"> 83:</font></div><div><font face="monospace, monospace"> 84: volume meta-autoload</font></div><div><font face="monospace, monospace"> 85:     type meta</font></div><div><font face="monospace, monospace"> 86:     subvolumes posix-acl-autoload</font></div><div><font face="monospace, monospace"> 87: end-volume</font></div><div><font face="monospace, monospace"> 88:</font></div><div><font face="monospace, monospace">+------------------------------------------------------------------------------+</font></div></div><div><font face="monospace, monospace"><br></font></div><div><font face="arial, helvetica, sans-serif">Thanks</font></div><div><font face="arial, helvetica, sans-serif">Rama</font></div></div>