<div dir="ltr"><div>There is nothing wrong with your setup. This is a known issue (at least to me).</div><div><br></div><div>The problem here lies with how GlusterD collect and collate the information on the open inodes on a volume, which isn&#39;t really efficient as of now. The collection and collation process involves doing several small (at least 2, but pretty sure it&#39;s more) memory allocations for each inode open on the bricks. This doesn&#39;t really scale well when we have lots of files, and is CPU and memory intensive.</div><div><br></div><div>In your case, with a 3-way replica volume, you&#39;d have inodes atleast 3x the number of files (~150000). This means atleast 300k small memory allocations need to be done by GlusterD. This is going to take a lot of time, CPU time and memory to complete. The process will eventually complete provided you have enough memory available. But as the gluster CLI only waits for 2 minutes for a reply, you will not get to see the output as you&#39;ve experienced. But GlusterD will continue and finish the asked operation.</div><div><br></div><div>Also, other CLI commands will fail till the existing operation finishes. GlusterD acquires a transaction lock when it begins an operation and releases it once the operation is complete. As GlusterD still continues with the operation after CLI times out, newer commands will fail as they cannot get the lock.</div><div><br></div><div>~kaushal</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Feb 11, 2015 at 4:40 AM, Rumen Telbizov <span dir="ltr">&lt;<a href="mailto:telbizov@gmail.com" target="_blank">telbizov@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_default" style="font-family:tahoma,sans-serif">Hello everyone,<br><br>I am new to GlusterFS and I am in the process of evaluating it as a possible alternative to some other options. While playing with it I came across this problem. Please direct me if there&#39;s something wrong that I am might be doing.<br><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">When I run <b>volume status myvolume inode</b> it causes the glusterd process to hit <b>100% cpu utilization</b> and no commands work furthermore. If I restart the glusterd process the problem is &quot;resolved&quot; until I run the same command again. Here&#39;s some more debug:<br></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><br><font size="1"><span style="font-family:monospace,monospace"># time gluster volume status myvolume inode<br>real    2m0.095s<br><br>...<br>[2015-02-10 22:49:38.662545] E [name.c:147:client_fill_address_family] 0-glusterfs: transport.address-family not specified. Could not guess default value from (remote-host:(null) or transport.unix.connect-path:(null)) options<br>[2015-02-10 22:49:41.663081] W [dict.c:1055:data_to_str] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(+0x4e24) [0x7fb21d6d2e24] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(socket_client_get_remote_sockaddr+0x4e) [0x7fb21d6d990e] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(client_fill_address_family+0x202) [0x7fb21d6d95f2]))) 0-dict: data is NULL<br>[2015-02-10 22:49:41.663101] W [dict.c:1055:data_to_str] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(+0x4e24) [0x7fb21d6d2e24] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(socket_client_get_remote_sockaddr+0x4e) [0x7fb21d6d990e] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(client_fill_address_family+0x20d) [0x7fb21d6d95fd]))) 0-dict: data is NULL<br>[2015-02-10 22:49:41.663107] E [name.c:147:client_fill_address_family] 0-glusterfs: transport.address-family not specified. Could not guess default value from (remote-host:(null) or transport.unix.connect-path:(null)) options<br>[2015-02-10 22:49:44.663576] W [dict.c:1055:data_to_str] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(+0x4e24) [0x7fb21d6d2e24] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(socket_client_get_remote_sockaddr+0x4e) [0x7fb21d6d990e] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(client_fill_address_family+0x202) [0x7fb21d6d95f2]))) 0-dict: data is NULL<br>[2015-02-10 22:49:44.663595] W [dict.c:1055:data_to_str] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(+0x4e24) [0x7fb21d6d2e24] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(socket_client_get_remote_sockaddr+0x4e) [0x7fb21d6d990e] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(client_fill_address_family+0x20d) [0x7fb21d6d95fd]))) 0-dict: data is NULL<br>[2015-02-10 22:49:44.663601] E [name.c:147:client_fill_address_family] 0-glusterfs: transport.address-family not specified. Could not guess default value from (remote-host:(null) or transport.unix.connect-path:(null)) options<br>[2015-02-10 22:49:47.664111] W [dict.c:1055:data_to_str] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(+0x4e24) [0x7fb21d6d2e24] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(socket_client_get_remote_sockaddr+0x4e) [0x7fb21d6d990e] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(client_fill_address_family+0x202) [0x7fb21d6d95f2]))) 0-dict: data is NULL<br>[2015-02-10 22:49:47.664131] W [dict.c:1055:data_to_str] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(+0x4e24) [0x7fb21d6d2e24] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(socket_client_get_remote_sockaddr+0x4e) [0x7fb21d6d990e] (--&gt;/usr/lib/x86_64-linux-gnu/glusterfs/3.5.3/rpc-transport/socket.so(client_fill_address_family+0x20d) [0x7fb21d6d95fd]))) 0-dict: data is NULL<br>[2015-02-10 22:49:47.664137] E [name.c:147:client_fill_address_family] 0-glusterfs: transport.address-family not specified. Could not guess default value from (remote-host:(null) or transport.unix.connect-path:(null)) options<br>[2015-02-10 22:49:47.728428] I [input.c:36:cli_batch] 0-:<b> Exiting with: 110</b><br></span></font><br><br><br clear="all"></div><font size="1"><span style="font-family:monospace,monospace"># time gluster volume status<br>Another transaction is in progress. Please try again after sometime.<br>real    0m10.223s<br></span><span style="font-family:monospace,monospace"><br>[2015-02-10 22:50:29.937290] E [glusterd-utils.c:153:glusterd_lock] 0-management: Unable to get lock for uuid: c7d1e1ea-c5a5-4bcf-802c-aa04dd2e55ba, lock held by: c7d1e1ea-c5a5-4bcf-802c-aa04dd2e55ba<br>[2015-02-10 22:50:29.937316] E [glusterd-syncop.c:1221:gd_sync_task_begin] 0-management: Unable to acquire lock<br></span></font><br><br><div class="gmail_default" style="font-family:tahoma,sans-serif">The volume contains the extracted linux kernel - so lots of small files (48425). Here&#39;s the configuration:<br><br><font size="1"><span style="font-family:monospace,monospace"># gluster volume status<br>Status of volume: myvolume<br>Gluster process                     Port    Online  Pid<br>------------------------------------------------------------------------------<br>Brick 10.12.10.7:/var/lib/glusterfs_disks/disk01/brick  49152   Y   3321<br>Brick 10.12.10.8:/var/lib/glusterfs_disks/disk01/brick  49152   Y   3380<br>Brick 10.12.10.9:/var/lib/glusterfs_disks/disk01/brick  49152   Y   3359<br>Brick 10.12.10.7:/var/lib/glusterfs_disks/disk02/brick  49154   Y   18687<br>Brick 10.12.10.8:/var/lib/glusterfs_disks/disk02/brick  49156   Y   32699<br>Brick 10.12.10.9:/var/lib/glusterfs_disks/disk02/brick  49154   Y   17932<br>Self-heal Daemon on localhost               N/A Y   25005<br>Self-heal Daemon on 10.12.10.9              N/A Y   17952<br>Self-heal Daemon on 10.12.10.8              N/A Y   32724<br><br>Task Status of Volume myvolume<br>------------------------------------------------------------------------------<br>Task                 : Rebalance<br>ID                   : eec4f2c1-85f5-400d-ac42-6da63ec7434f<br>Status               : completed</span></font><br><br><br><font size="1"><span style="font-family:monospace,monospace"># gluster volume info<br><br>Volume Name: myvolume<br>Type: Distributed-Replicate<br>Volume ID: e513a56f-049f-4c8e-bc75-4fb789e06c37<br>Status: Started<br>Number of Bricks: 2 x 3 = 6<br>Transport-type: tcp<br>Bricks:<br>Brick1: 10.12.10.7:/var/lib/glusterfs_disks/disk01/brick<br>Brick2: 10.12.10.8:/var/lib/glusterfs_disks/disk01/brick<br>Brick3: 10.12.10.9:/var/lib/glusterfs_disks/disk01/brick<br>Brick4: 10.12.10.7:/var/lib/glusterfs_disks/disk02/brick<br>Brick5: 10.12.10.8:/var/lib/glusterfs_disks/disk02/brick<br>Brick6: 10.12.10.9:/var/lib/glusterfs_disks/disk02/brick<br>Options Reconfigured:<br>nfs.disable: on<br>network.ping-timeout: 10</span></font><br><br></div><div class="gmail_default" style="font-family:tahoma,sans-serif">I run:<br><font size="1"><span style="font-family:monospace,monospace"># glusterd -V<br>glusterfs 3.5.3 built on Nov 17 2014 15:48:52<br>Repository revision: git://<a href="http://git.gluster.com/glusterfs.git" target="_blank">git.gluster.com/glusterfs.git</a><br><br><br></span></font></div><div class="gmail_default" style="font-family:tahoma,sans-serif"><font size="1"><span style="font-family:monospace,monospace">​</span></font>Thank you for your time.</div><br><div class="gmail_default" style="font-family:tahoma,sans-serif">​Regards,</div><span class="HOEnZb"><font color="#888888">-- <br><div><div dir="ltr"><div><span style="font-family:tahoma,sans-serif">Rumen Telbizov</span><div><span style="font-family:tahoma,sans-serif"><a href="http://telbizov.com" target="_blank">Unix Systems Administrator</a></span></div></div></div></div>
</font></span></div>
<br>_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://www.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://www.gluster.org/mailman/listinfo/gluster-users</a><br></blockquote></div><br></div>