<div dir="ltr">Hi,<div><br></div><div>First my situation. I have two fileservers in replication mode. CentOS with glusterfs 3.6.3. For a while now they&#39;ve ran just fine.</div><div><br></div><div>I wanted to replace a hard drive of one server for a smaller one. So what I did on the server was:</div><div>1) Stop glusterd service</div><div>2) Copy all from old drive to new drive</div><div>3) Stop server</div><div>4) Replace old drive with new (smaller drive)</div><div>5) Start server</div><div><br></div><div>The old drive had /dev/sdf and I checked that the new one had the same. Glusterfs didn&#39;t start correctly so I followed this:</div><div><br></div><div><a href="https://joejulian.name/blog/replacing-a-brick-on-glusterfs-340/">https://joejulian.name/blog/replacing-a-brick-on-glusterfs-340/</a><br></div><div><br></div><div>This made glusterfs start again. However, I got errors about permissions and thus I decided to just wipe the new drive and use the gluster self-healing. Now the self-healing doesn&#39;t work. I get the following errors:</div><div><br></div><div><div>[2015-05-15 13:31:19.090962] I [server-rpc-fops.c:475:server_mkdir_cbk] 0-data-server: 58: MKDIR /web (00000000-0000-0000-0000-000000000001/web) ==&gt; (Permission denied)</div><div>[2015-05-15 13:31:19.095314] I [server-rpc-fops.c:475:server_mkdir_cbk] 0-data-server: 67: MKDIR /web (00000000-0000-0000-0000-000000000001/web) ==&gt; (Permission denied)</div><div>[2015-05-15 13:31:19.145125] W [server-resolve.c:437:resolve_anonfd_simple] 0-server: inode for the gfid (6f2e72e3-de39-4dcc-8b0f-d45994a1c49f) is not found. anonymous fd creation failed</div><div>[2015-05-15 13:31:19.145168] W [server-resolve.c:437:resolve_anonfd_simple] 0-server: inode for the gfid (6f2e72e3-de39-4dcc-8b0f-d45994a1c49f) is not found. anonymous fd creation failed</div><div>[2015-05-15 13:31:19.145221] W [server-resolve.c:437:resolve_anonfd_simple] 0-server: inode for the gfid (6f2e72e3-de39-4dcc-8b0f-d45994a1c49f) is not found. anonymous fd creation failed</div><div>[2015-05-15 13:31:19.145272] W [server-resolve.c:437:resolve_anonfd_simple] 0-server: inode for the gfid (6f2e72e3-de39-4dcc-8b0f-d45994a1c49f) is not found. anonymous fd creation failed</div><div>[2015-05-15 13:31:19.150942] W [server-resolve.c:437:resolve_anonfd_simple] 0-server: inode for the gfid (f739372b-4a60-44b2-8bc0-29030025cbf2) is not found. anonymous fd creation failed</div><div>[2015-05-15 13:31:19.151004] W [server-resolve.c:437:resolve_anonfd_simple] 0-server: inode for the gfid (f739372b-4a60-44b2-8bc0-29030025cbf2) is not found. anonymous fd creation failed</div><div>[2015-05-15 13:31:19.151061] W [server-resolve.c:437:resolve_anonfd_simple] 0-server: inode for the gfid (f739372b-4a60-44b2-8bc0-29030025cbf2) is not found. anonymous fd creation failed</div><div>[2015-05-15 13:31:19.151099] W [server-resolve.c:437:resolve_anonfd_simple] 0-server: inode for the gfid (f739372b-4a60-44b2-8bc0-29030025cbf2) is not found. anonymous fd creation failed</div><div>[2015-05-15 13:31:25.030158] I [server-rpc-fops.c:475:server_mkdir_cbk] 0-data-server: 201: MKDIR /web (00000000-0000-0000-0000-000000000001/web) ==&gt; (Permission denied)</div><div>[2015-05-15 13:31:28.378031] I [server-rpc-fops.c:475:server_mkdir_cbk] 0-data-server: 285: MKDIR /web (00000000-0000-0000-0000-000000000001/web) ==&gt; (Permission denied)</div><div>[2015-05-15 13:31:30.041158] I [server-rpc-fops.c:475:server_mkdir_cbk] 0-data-server: 369: MKDIR /web (00000000-0000-0000-0000-000000000001/web) ==&gt; (Permission denied)</div><div>[2015-05-15 13:31:30.940040] I [server-rpc-fops.c:475:server_mkdir_cbk] 0-data-server: 40: MKDIR /mail (00000000-0000-0000-0000-000000000001/mail) ==&gt; (Permission denied)</div><div>[2015-05-15 13:31:30.944764] I [server-rpc-fops.c:475:server_mkdir_cbk] 0-data-server: 49: MKDIR /mail (00000000-0000-0000-0000-000000000001/mail) ==&gt; (Permission denied)</div><div>[2015-05-15 13:31:30.948941] I [server-rpc-fops.c:475:server_mkdir_cbk] 0-data-server: 58: MKDIR /mail (00000000-0000-0000-0000-000000000001/mail) ==&gt; (Permission denied)</div><div>[2015-05-15 13:31:30.953006] I [server-rpc-fops.c:475:server_mkdir_cbk] 0-data-server: 67: MKDIR /mail (00000000-0000-0000-0000-000000000001/mail) ==&gt; (Permission denied)</div></div><div><br></div><div>Apparantly gluster cannot create the directories. This is strange because some other directories have been healed fine..</div><div><br></div><div>Could anyone help with this? I&#39;m a bit worried because there is only one file server running now.</div><div><br></div><div>Kind regards,</div><div><br></div><div>Francois van der Ven</div></div>