<div dir="ltr"><div>I am trying to add a fourth server to my distributed gluster setup, but the &#39;add-brick&#39; command keeps failing.  I&#39;ve tried several times, each time cleaning the new server by stopping and uninstalling gluster, unmounting and mkfs the new filesystem, deleting all gluster files (/var/log/glusterfs, /var/lib/glusterfs), then re-installing.  On fs1, I remove-brick the new server and detach the peer, and then start over.  It keeps failing at the same point.</div><div><br></div><div>The servers have identical hardware and software.</div><div><br></div><div>What should I look for?</div><div><br></div><div>CentOS 7.2</div><div>Gluster 3.7.14-1</div><div><br></div><div>Server names are fs1, fs2, fs3 and the new server fs4.  Fs1, fs2 and fs3 have been running for several months.</div><div><br></div><div>[root@fs1]# gluster volume add-brick cees-data fs4:/data/brick</div><div>volume add-brick: failed: Commit failed on fs4. Please check log file for details.</div><div><br></div><div>[root@fs1]# gluster volume info</div><div>Volume Name: cees-data</div><div>Type: Distribute</div><div>Volume ID: 27d2a59c-bdac-4f66-bcd8-e6124e53a4a2</div><div>Status: Started</div><div>Number of Bricks: 4</div><div>Transport-type: tcp,rdma</div><div>Bricks:</div><div>Brick1: fs1:/data/brick</div><div>Brick2: fs2:/data/brick</div><div>Brick3: fs3:/data/brick</div><div>Brick4: fs4:/data/brick</div><div>Options Reconfigured:</div><div>performance.readdir-ahead: on</div><div>features.quota: on</div><div>features.inode-quota: on</div><div>features.quota-deem-statfs: on</div><div><br></div><div>[root@fs1]# gluster volume status</div><div>Status of volume: cees-data</div><div>Gluster process                             TCP Port  RDMA Port  Online  Pid</div><div>------------------------------------------------------------------------------</div><div>Brick fs1:/data/brick                       49152     49153      Y       1878 </div><div>Brick fs2:/data/brick                       49152     0          Y       1707 </div><div>Brick fs3:/data/brick                       49152     0          Y       4696 </div><div>NFS Server on fs4                           2049      0          Y       12190</div><div>NFS Server on localhost                     2049      0          Y       4838 </div><div>Quota Daemon on localhost                   N/A       N/A        Y       4846 </div><div>Quota Daemon on fs4                         N/A       N/A        Y       12198</div><div>NFS Server on fs3                           2049      0          Y       11084</div><div>Quota Daemon on fs3                         N/A       N/A        Y       11092</div><div>NFS Server on fs2                           2049      0          Y       10199</div><div>Quota Daemon on fs2                         N/A       N/A        Y       10207</div><div> </div><div>Task Status of Volume cees-data</div><div>------------------------------------------------------------------------------</div><div>There are no active volume tasks</div><div><br></div><div><br></div><div>from the logs on the new server fs4:</div><div><br></div><div>[2016-09-26 22:44:38.605539] I [run.c:190:runner_log] (--&gt;/usr/lib64/glusterfs/3.7.14/xlator/mgmt/glusterd.so(glusterd_op_commit_hook+0x195) [0x7f257bed20e5] --&gt;/usr/lib64/glusterfs/3.7.14/xlator/mgmt/glusterd.so(glusterd_hooks_run_hooks+0x4c5) [0x7f257bf66e95] --&gt;/lib64/libglusterfs.so.0(runner_log+0x115) [0x7f25873cecd5] ) 0-management: Ran script: /var/lib/glusterd/hooks/1/add-brick/pre/S28Quota-enable-root-xattr-heal.sh --volname=cees-data --version=1 --volume-op=add-brick --gd-workdir=/var/lib/glusterd</div><div>[2016-09-26 22:44:39.254422] I [MSGID: 106143] [glusterd-pmap.c:231:pmap_registry_bind] 0-pmap: adding brick /data/brick on port 49152</div><div>[2016-09-26 22:44:39.254510] I [MSGID: 106143] [glusterd-pmap.c:231:pmap_registry_bind] 0-pmap: adding brick /data/brick.rdma on port 49153</div><div>[2016-09-26 22:44:39.254921] E [MSGID: 106005] [glusterd-utils.c:4771:glusterd_brick_start] 0-management: Unable to start brick fs4:/data/brick</div><div>[2016-09-26 22:44:39.254949] E [MSGID: 106074] [glusterd-brick-ops.c:2372:glusterd_op_add_brick] 0-glusterd: Unable to add bricks</div><div>[2016-09-26 22:44:39.254958] E [MSGID: 106123] [glusterd-mgmt.c:294:gd_mgmt_v3_commit_fn] 0-management: Add-brick commit failed.</div><div>[2016-09-26 22:44:39.254965] E [MSGID: 106123] [glusterd-mgmt-handler.c:603:glusterd_handle_commit_fn] 0-management: commit failed on operation Add brick</div><div>[2016-09-26 22:45:38.146318] I [MSGID: 106144] [glusterd-pmap.c:276:pmap_registry_remove] 0-pmap: removing brick /data/brick on port 49152</div><div><br></div></div>