
<html dir="ltr">

<head>

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<style id="owaParaStyle" type="text/css">P {margin-top:0;margin-bottom:0;}</style>

</head>

<body ocsi="0" fpstyle="1">

<div style="direction: ltr;font-family: Tahoma;color: #000000;font-size: 10pt;">This is possibly another instance of the earlier threads (below).&nbsp; This occurs<br>

with 3.6.6-1 and 3.6.2-1.<br>

<br>

&nbsp;&nbsp;&nbsp; http://www.gluster.org/pipermail/gluster-users/2014-June/017635.html<br>

&nbsp;&nbsp;&nbsp; http://www.gluster.org/pipermail/gluster-users/2012-March/009942.html<br>

<br>

Synopsis:<br>

<br>

A standard user tries to build GIT and succeeds, but is then unable to<br>

delete a relatively small number of files in the build tree.&nbsp; They get<br>

'No data available' and while the bricks contain associated nodes which<br>

getfattr seems happy with, at least one entry for each node has mode 1000<br>

(text bit only).&nbsp; The logs are also being spammed again with iobref_unref<br>

and iobuf_unref, which may be connected, or may not.&nbsp; The brick logs do<br>

contain xattr set errors to start, and get/modify later on, ending with<br>

unlink errors when the deletion attempts arrive.<br>

<br>

I'm mainly hoping it's *not* a case of the latter thread listed above<br>

(ie., use ext4 instead of xfs for the backing storage), because backing<br>

up the healthy side of 80TB before rebuilding the underlying bricks' LUNs<br>

will be ... interesting.<br>

<br>

Environment:<br>

&nbsp;&nbsp;&nbsp; RHEL 6.7, kernel 2.6.32-573.7.1.el6.x86_64<br>

<br>

Gluster locations/packages/versions:<br>

<br>

&nbsp;&nbsp;&nbsp; servers: &quot;service{4..7,10..13}&quot;:<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-server-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-api-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-debuginfo-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-fuse-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-rdma-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-libs-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-devel-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-api-devel-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-extra-xlators-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-cli-3.6.6-1.el6.x86_64<br>

<br>

&nbsp;&nbsp;&nbsp; clients: &quot;service1&quot; aka &quot;phoenix01&quot;:<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-api-devel-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-libs-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-devel-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-cli-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-extra-xlators-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-fuse-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-rdma-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-api-3.6.6-1.el6.x86_64<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; glusterfs-debuginfo-3.6.6-1.el6.x86_64<br>

<br>

&nbsp;&nbsp;&nbsp; volume info:<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Volume Name: home<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Type: Distribute<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Volume ID: f03fcaf0-3889-45ac-a06a-a4d60d5a673d<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Status: Started<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Number of Bricks: 28<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Transport-type: rdma<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Bricks:<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick1: service4-ib1:/mnt/l1_s4_ost0000_0000/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick2: service4-ib1:/mnt/l1_s4_ost0001_0001/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick3: service4-ib1:/mnt/l1_s4_ost0002_0002/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick4: service5-ib1:/mnt/l1_s5_ost0003_0003/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick5: service5-ib1:/mnt/l1_s5_ost0004_0004/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick6: service5-ib1:/mnt/l1_s5_ost0005_0005/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick7: service5-ib1:/mnt/l1_s5_ost0006_0006/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick8: service6-ib1:/mnt/l1_s6_ost0007_0007/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick9: service6-ib1:/mnt/l1_s6_ost0008_0008/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick10: service6-ib1:/mnt/l1_s6_ost0009_0009/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick11: service7-ib1:/mnt/l1_s7_ost000a_0010/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick12: service7-ib1:/mnt/l1_s7_ost000b_0011/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick13: service7-ib1:/mnt/l1_s7_ost000c_0012/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick14: service7-ib1:/mnt/l1_s7_ost000d_0013/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick15: service10-ib1:/mnt/l1_s10_ost000e_0014/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick16: service10-ib1:/mnt/l1_s10_ost000f_0015/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick17: service10-ib1:/mnt/l1_s10_ost0010_0016/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick18: service11-ib1:/mnt/l1_s11_ost0011_0017/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick19: service11-ib1:/mnt/l1_s11_ost0012_0018/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick20: service11-ib1:/mnt/l1_s11_ost0013_0019/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick21: service11-ib1:/mnt/l1_s11_ost0014_0020/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick22: service12-ib1:/mnt/l1_s12_ost0015_0021/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick23: service12-ib1:/mnt/l1_s12_ost0016_0022/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick24: service12-ib1:/mnt/l1_s12_ost0017_0023/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick25: service13-ib1:/mnt/l1_s13_ost0018_0024/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick26: service13-ib1:/mnt/l1_s13_ost0019_0025/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick27: service13-ib1:/mnt/l1_s13_ost001a_0026/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick28: service13-ib1:/mnt/l1_s13_ost001b_0027/brick<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Options Reconfigured:<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; diagnostics.count-fop-hits: on<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; diagnostics.latency-measurement: on<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; storage.build-pgfid: on<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; performance.stat-prefetch: off<br>

<br>

&nbsp;&nbsp;&nbsp; volume status:<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Status of volume: home<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Gluster process&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; Port&nbsp;&nbsp;&nbsp; Online&nbsp;&nbsp;&nbsp; Pid<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ------------------------------------------------------------------------------<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service4-ib1:/mnt/l1_s4_ost0000_0000/brick&nbsp;&nbsp;&nbsp; 49156&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7513<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service4-ib1:/mnt/l1_s4_ost0001_0001/brick&nbsp;&nbsp;&nbsp; 49157&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7525<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service4-ib1:/mnt/l1_s4_ost0002_0002/brick&nbsp;&nbsp;&nbsp; 49158&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7537<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service5-ib1:/mnt/l1_s5_ost0003_0003/brick&nbsp;&nbsp;&nbsp; 49163&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7449<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service5-ib1:/mnt/l1_s5_ost0004_0004/brick&nbsp;&nbsp;&nbsp; 49164&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7461<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service5-ib1:/mnt/l1_s5_ost0005_0005/brick&nbsp;&nbsp;&nbsp; 49165&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7473<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service5-ib1:/mnt/l1_s5_ost0006_0006/brick&nbsp;&nbsp;&nbsp; 49166&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7485<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service6-ib1:/mnt/l1_s6_ost0007_0007/brick&nbsp;&nbsp;&nbsp; 49155&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7583<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service6-ib1:/mnt/l1_s6_ost0008_0008/brick&nbsp;&nbsp;&nbsp; 49156&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7595<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service6-ib1:/mnt/l1_s6_ost0009_0009/brick&nbsp;&nbsp;&nbsp; 49157&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7607<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service7-ib1:/mnt/l1_s7_ost000a_0010/brick&nbsp;&nbsp;&nbsp; 49160&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7490<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service7-ib1:/mnt/l1_s7_ost000b_0011/brick&nbsp;&nbsp;&nbsp; 49161&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7502<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service7-ib1:/mnt/l1_s7_ost000c_0012/brick&nbsp;&nbsp;&nbsp; 49162&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7514<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service7-ib1:/mnt/l1_s7_ost000d_0013/brick&nbsp;&nbsp;&nbsp; 49163&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7526<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service10-ib1:/mnt/l1_s10_ost000e_0014/brick&nbsp;&nbsp;&nbsp; 49155&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 8136<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service10-ib1:/mnt/l1_s10_ost000f_0015/brick&nbsp;&nbsp;&nbsp; 49156&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 8148<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service10-ib1:/mnt/l1_s10_ost0010_0016/brick&nbsp;&nbsp;&nbsp; 49157&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 8160<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service11-ib1:/mnt/l1_s11_ost0011_0017/brick&nbsp;&nbsp;&nbsp; 49160&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7453<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service11-ib1:/mnt/l1_s11_ost0012_0018/brick&nbsp;&nbsp;&nbsp; 49161&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7465<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service11-ib1:/mnt/l1_s11_ost0013_0019/brick&nbsp;&nbsp;&nbsp; 49162&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7477<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service11-ib1:/mnt/l1_s11_ost0014_0020/brick&nbsp;&nbsp;&nbsp; 49163&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7489<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service12-ib1:/mnt/l1_s12_ost0015_0021/brick&nbsp;&nbsp;&nbsp; 49155&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7457<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service12-ib1:/mnt/l1_s12_ost0016_0022/brick&nbsp;&nbsp;&nbsp; 49156&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7469<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service12-ib1:/mnt/l1_s12_ost0017_0023/brick&nbsp;&nbsp;&nbsp; 49157&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7481<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service13-ib1:/mnt/l1_s13_ost0018_0024/brick&nbsp;&nbsp;&nbsp; 49156&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7536<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service13-ib1:/mnt/l1_s13_ost0019_0025/brick&nbsp;&nbsp;&nbsp; 49157&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7548<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service13-ib1:/mnt/l1_s13_ost001a_0026/brick&nbsp;&nbsp;&nbsp; 49158&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7560<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Brick service13-ib1:/mnt/l1_s13_ost001b_0027/brick&nbsp;&nbsp;&nbsp; 49159&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7572<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NFS Server on localhost&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; 2049&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7553<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NFS Server on service6-ib1&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; 2049&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7625<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NFS Server on service13-ib1&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; 2049&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7589<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NFS Server on service11-ib1&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; 2049&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7507<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NFS Server on service12-ib1&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; 2049&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7498<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NFS Server on service10-ib1&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; 2049&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 8179<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NFS Server on service5-ib1&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; 2049&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7502<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NFS Server on service7-ib1&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; 2049&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 7543<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Task Status of Volume home<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ------------------------------------------------------------------------------<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Task&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : Rebalance&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ID&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : f3ad27ce-7bcf-4fab-92c1-b40af75d4300<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Status&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : completed&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

&nbsp;<br>

Reproduction:&nbsp;&nbsp;&nbsp; As standard user clone the latest git source into ~/build_tests/, then...<br>

<br>

test 0:&nbsp; dup source tree, delete original<br>

<br>

&nbsp;&nbsp;&nbsp; success, test0.script<br>

<br>

test 1:&nbsp; copy dupe to new, cd into new, make configure, cd out,<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; delete new<br>

<br>

&nbsp;&nbsp;&nbsp; success, test1.script<br>

<br>

test 2:&nbsp; mkdir $WORKDIR/temp/, copy dump to new, cd into it, make<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; configure, ./configure --prefix $WORKDIR/temp, cd out,<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; delete new, delete $WORKDIR/temp/<br>

<br>

&nbsp;&nbsp;&nbsp; success, test2.script<br>

<br>

test 3:&nbsp; mkdir $WORKDIR/temp/, copy dump to new, cd into it, make <br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; configure, ./configure --prefix $WORKDIR/temp/, make all<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; doc, cd out, delete new, delete $WORKDIR/temp/<br>

<br>

&nbsp;&nbsp;&nbsp; failure on attempt to remove the working tree<br>

<br>

&nbsp;&nbsp;&nbsp; as root, trying to remove a sample file (file owner gets same result):<br>

<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [root@phoenix-smc users]# ssh service1 rm /home/olagarde/build_tests/new/git-diff<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rm: cannot remove `/home/olagarde/build_tests/new/git-diff': No data available<br>

<br>

&nbsp;&nbsp;&nbsp; the file is homed on backing servers 4 and 13 (what happened on 13?):<br>

<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [root@phoenix-smc users]# pdsh -g glfs ls -l /mnt/*/brick/olagarde/build_tests/new/git-diff<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service10: ...<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service11: ...<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service6: ...<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service12: ...<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service7: ...<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service5: ...<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service13: ---------T 5 500 206 0 Nov&nbsp; 9 23:28 /mnt/l1_s13_ost001a_0026/brick/olagarde/build_tests/new/git-diff<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service4: -rwxr----- 81 500 206 7960411 Nov&nbsp; 9 23:28 /mnt/l1_s4_ost0000_0000/brick/olagarde/build_tests/new/git-diff<br>

<br>

&nbsp;&nbsp;&nbsp; fattrs appear to claim happiness for both backing instances:<br>

<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [root@phoenix-smc users]# pdsh -w service4 -w service13 -f 1 'getfattr -m . -d -e hex /mnt/*/brick/olagarde/build_tests/new/git-diff'<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service4: getfattr: Removing leading '/' from absolute path names<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service4: # file: mnt/l1_s4_ost0000_0000/brick/olagarde/build_tests/new/git-diff<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service4: trusted.gfid=0xa4daceb603b0485eab77df659ea3d34c<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service4: trusted.pgfid.8bfecb0a-bae2-48e9-9992-ddce2ff8e4c7=0x00000050<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service4: <br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service13: getfattr: Removing leading '/' from absolute path names<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service13: # file: mnt/l1_s13_ost001a_0026/brick/olagarde/build_tests/new/git-diff<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service13: trusted.gfid=0xa4daceb603b0485eab77df659ea3d34c<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service13: trusted.glusterfs.dht.linkto=0x686f6d652d636c69656e742d3000<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; service13:<br>

<br>

Profile output (vol profile home info incremental, 60s snaps) is available if that helps.<br>

Logs are also available but I have to review/sanitize them before they leave the site.<br>

Output of 'script' sessions around the above tests is also available, if it helps.<br>

<br>

##END<br>

</div>

</body>

</html>