<div dir="ltr"><div>Hello everybody, </div><div><br></div><div>I am experiencing peculiar performance difference on my client nodes.</div><div><br></div><div>One node is blank Ubuntu (Xenial), second is also Xenial with a web server (nginx) that serves media files stored on disk image that is on Gluster volume. </div><div>Both clients are 3.8.5, 10Gbe NICs used for Gluster network, 32 GB RAM on both.</div><div>Gluster servers are 64GB RAM, 6 SSDs on each.</div><div>Switching is done on Juniper EX4550, load is very low, MTU 9000 (almost no difference to 1500).</div><div><br></div><div>I get about 300MB/s on the node with nginx and only 160MB/s on the second one. </div><div><br></div><div>[global]</div><div>filename=/mnt/gluster_vol/fio<br></div><div>ioengine=libaio</div><div>direct=1</div><div>bs=256k</div><div>rw=read</div><div>iodepth=1</div><div>numjobs=1</div><div>size=8192m</div><div><br></div><div>I did check packet drops, if 10Gbe is actually used, vmstat for iowait, traffic distribution on server nodes, sysctl -a diff, iperf between clients, servers, client-server, and probably a dozen of other things. I tried to install nginx on the &quot;blank&quot; client with but it did not make any difference. Slower node actually has more RAM available. </div><div><br></div><div>Do you have any ideas what could cause this? </div><div><br></div><div><div>Volume options:</div><div>cluster.self-heal-daemon: enable</div><div>nfs.disable: on</div><div>performance.readdir-ahead: on</div><div>performance.cache-size: 1GB</div><div>performance.client-io-threads: on</div><div>performance.io-thread-count: 64</div><div>performance.read-ahead: off</div></div><br clear="all"><div><div class="gmail_signature">-ps</div></div>
</div>