<div dir="ltr">Hi all,<div><br></div><div>I&#39;m running a 3 node gluster cluster in AWS <span style="background-color:rgb(255,255,255)">(<span style="color:rgb(0,0,0);font-family:arial;font-size:13px;line-height:27px;white-space:nowrap">m4.xlarge, 4 x st1 500G disks) and just starting out.</span></span></div><div><span style="background-color:rgb(255,255,255)"><font color="#000000" face="arial"><span style="line-height:27px;white-space:nowrap">glusterfs 3.7.11 built on Apr 18 2016 12:57:30 --servers</span></font><br></span></div><div><font color="#000000" face="arial"><span style="line-height:27px;white-space:nowrap;background-color:rgb(255,255,255)">glusterfs 3.7.13 built on Jul  8 2016 15:46:50 -- fuse clients</span><br></font></div><div><br></div><div><div>Volume Name: marketplace_nfs</div><div>Type: Distributed-Replicate</div><div>Volume ID: 261f1e1e-49c1-4e93-b7a5-082590fd606f</div><div>Status: Started</div><div>Number of Bricks: 6 x 2 = 12</div><div>Transport-type: tcp</div><div>Bricks:</div><div>Brick1: 10.90.3.4:/data/data1/marketplace_nfs</div><div>Brick2: 10.90.4.82:/data/data1/marketplace_nfs</div><div>Brick3: 10.90.5.26:/data/data1/marketplace_nfs</div><div>Brick4: 10.90.3.4:/data/data0/marketplace_nfs</div><div>Brick5: 10.90.4.82:/data/data0/marketplace_nfs</div><div>Brick6: 10.90.5.26:/data/data0/marketplace_nfs</div><div>Brick7: 10.90.3.4:/data/data3/marketplace_nfs</div><div>Brick8: 10.90.4.82:/data/data3/marketplace_nfs</div><div>Brick9: 10.90.5.26:/data/data3/marketplace_nfs</div><div>Brick10: 10.90.3.4:/data/data2/marketplace_nfs</div><div>Brick11: 10.90.4.82:/data/data2/marketplace_nfs</div><div>Brick12: 10.90.5.26:/data/data2/marketplace_nfs</div><div>Options Reconfigured:</div><div>diagnostics.count-fop-hits: on</div><div>diagnostics.latency-measurement: on</div><div>network.ping-timeout: 15</div><div>cluster.quorum-type: none</div><div>performance.readdir-ahead: on</div></div><div><br></div><div><br></div><div>The idea is that at least 2 nodes have a copy of the data in the volume. </div><div><br></div><div>I mount this on the client</div><div>10.90.3.4:/marketplace_nfs on /data type fuse.glusterfs (rw,default_permissions,allow_other,max_read=131072)<br></div><div>(10.90.3.4:/marketplace_nfs<span class="" style="white-space:pre">        </span>/data<span class="" style="white-space:pre">        </span>glusterfs<span class="" style="white-space:pre">        </span>backupvolfile-server=nfs.market.customer.envato.internal<span class="" style="white-space:pre">        </span>0<span class="" style="white-space:pre">        </span>0)</div><div><br></div><div>When I execute on a fuse mounted client: </div><div><br></div><div>$ time find ./* -maxdepth 1 -type d  |wc -l</div><div>6219<br></div><div>real<span class="" style="white-space:pre">        </span>10m42.753s<br></div><div>user<span class="" style="white-space:pre">        </span>0m0.730s</div><div>sys<span class="" style="white-space:pre">        </span>0m0.467s</div><div><br></div><div>Locally on one of the gluster nodes (over a larger number of files).</div><div>time find /data/data*/marketplace_nfs/ -maxdepth 1 -type d |wc -l<br></div><div><div>24908</div><div>real<span class="" style="white-space:pre">        </span>0m0.202s<br></div><div>user<span class="" style="white-space:pre">        </span>0m0.058s</div><div>sys<span class="" style="white-space:pre">        </span>0m0.126s</div></div><div><br></div><div>I am not sure of the performance I can reasonably expect. The question I have is is this reasonable and if not, how can I improve performance? Should I reduce the number of bricks per node? Should I increase the replica count? Is there a fundamental problem in my configuration?<br></div><div><br></div><div>Any help appreciated,</div><div>Den</div><div><br></div><div>further information:</div><div><br></div><div>Each gluster node has similar top:</div><div><br></div><div><div>top - 03:19:57 up 7 days, 22:19,  1 user,  load average: 12.84, 9.13, 6.56</div><div>Tasks: 142 total,   2 running, 140 sleeping,   0 stopped,   0 zombie</div><div>%Cpu(s):  0.4 us,  0.3 sy,  0.0 ni, 99.2 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st</div><div>KiB Mem : 16431672 total,   239224 free,   644316 used, 15548132 buff/cache</div><div>KiB Swap:        0 total,        0 free,        0 used. 15365572 avail Mem</div><div><br></div><div>  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND</div><div> 3782 root      20   0 2002532  83264   7736 S 206.2  0.5 101:34.25 /usr/sbin/glusterfsd -s 10.90.3.4 --volfile-id marketplace_nfs.10.90.3.4.data-data1-marketplace_nfs -p /var/lib/glusterd/vols/marketplace_nfs/run/10.90.3.4-data-data1-marketplace_nfs.pid -S /var/run/gluster/aef8f955e6f50664936da6eee0158803.socket --brick-name /data/data1/marketplace_nfs -l /va+</div><div> 3820 root      20   0 2068064  83124   8120 S 175.0  0.5  99:59.40 /usr/sbin/glusterfsd -s 10.90.3.4 --volfile-id marketplace_nfs.10.90.3.4.data-data3-marketplace_nfs -p /var/lib/glusterd/vols/marketplace_nfs/run/10.90.3.4-data-data3-marketplace_nfs.pid -S /var/run/gluster/a4ab633dc313d2e6fd8e53a37c77c30b.socket --brick-name /data/data3/marketplace_nfs -l /va+</div><div> 3801 root      20   0 1335868  72172   8128 S   6.2  0.4   9:12.61 /usr/sbin/glusterfsd -s 10.90.3.4 --volfile-id marketplace_nfs.10.90.3.4.data-data0-marketplace_nfs -p /var/lib/glusterd/vols/marketplace_nfs/run/10.90.3.4-data-data0-marketplace_nfs.pid -S /var/run/gluster/ff9b43a6f3ea1b1ec0c04b9aee936dc8.socket --brick-name /data/data0/marketplace_nfs -l /va+</div><div>    1 root      20   0  128556   8576   5736 S   0.0  0.1   0:06.74 /usr/lib/systemd/systemd --switched-root --system --deserialize 21</div><div>    2 root      20   0       0      0      0 S   0.0  0.0   0:00.10 [kthreadd]</div></div><div><br></div><div><br></div><div>Each glusterfs server is showing this behaviour, massive network sends and little disk usage:</div><div><div><br></div><div>---total-cpu-usage---- --dsk/xvdg----dsk/xvdh----dsk/xvdi----dsk/xvdj- -net/total- ---paging-- ---system--</div><div>usr sys idl wai hiq siq| read  writ: read  writ: read  writ: read  writ| recv  send|  in   out | int   csw</div><div> 24  74   2   0   0   0|   0     0 :   0  1024B:   0     0 :   0     0 | 129k   14M|   0     0 |6533  6308</div><div> 25  74   1   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 | 160k   14M|   0     0 |6973  6669</div><div> 24  74   2   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 | 161k   15M|   0     0 |7300  7562</div><div> 25  74   2   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 | 149k   14M|   0     0 |6642  6528</div><div> 31  68   1   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 | 124k   14M|   0     0 |6683  6343</div><div> 24  64  12   0   0   0|   0     0 :   0     0 :   0     0 :   0  1024B| 142k   13M|   0     0 |6800  6939</div><div> 25  73   1   0   0   1|   0     0 :   0     0 :   0     0 :   0     0 | 154k   14M|   0     0 |7054  6484</div><div> 26  70   4   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 | 132k   14M|   0     0 |6803  6539</div><div> 25  69   5   0   0   1|   0     0 :   0     0 :   0     0 :   0     0 | 160k   14M|   0     0 |7323  9557</div><div> 24  70   5   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 | 143k   14M|   0     0 |6769  6935</div><div> 25  73   2   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 | 137k   14M|   0     0 |6976  6257</div><div> 29  70   0   0   0   0|   0  1024B:   0     0 :   0     0 :   0     0 | 171k   14M|   0     0 |6836  5853</div><div> 27  70   3   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 | 179k   14M|   0     0 |7081  7359</div><div> 22  62  16   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 | 133k   13M|   0     0 |6499  6478</div><div> 15  36  48   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 |  91k 8798k|   0     0 |4686  3832</div><div> 15  44  41   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 | 132k   10M|   0     0 |5708  5834</div><div> 19  53  28   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 | 140k   12M|   0     0 |6471  5599</div><div> 27  70   3   0   0   1|   0     0 :   0     0 :   0     0 :   0     0 | 151k   13M|   0     0 |7134  7197</div><div> 24  74   2   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 | 159k   14M|   0     0 |7682  8206</div><div> 28  69   3   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 | 134k   13M|   0     0 |7194  8798</div><div> 29  70   1   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 |  72k   14M|   0     0 |6365  6426</div><div> 15  44  42   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 |  61k   11M|   0     0 |4929  6895</div><div>  0   0 100   0   0   0|   0     0 :   0     0 :   0  1024B:   0     0 |  25k   15k|   0     0 |1121  1259</div><div>  0   0 100   0   0   0|   0     0 :   0     0 :   0     0 :   0     0 |4268B 3186B|   0     0 | 458   562</div></div><div><br></div><div><br></div><div>The profile info is:<br><div><br></div><div>$ cat /tmp/dataout1</div><div>Brick: 10.90.3.4:/data/data2/marketplace_nfs</div><div>--------------------------------------------</div><div>Cumulative Stats:</div><div>   Block Size:                  1b+                  64b+                 128b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   15                     1                     2</div><div><br></div><div>   Block Size:                256b+                 512b+                1024b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                    4                     5                    20</div><div><br></div><div>   Block Size:               2048b+                4096b+                8192b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   50                    67                   114</div><div><br></div><div>   Block Size:              16384b+               32768b+               65536b+</div><div> No. of Reads:                    0                     1                     0</div><div>No. of Writes:                  273                   391                   831</div><div><br></div><div>   Block Size:             131072b+</div><div> No. of Reads:                14301</div><div>No. of Writes:               397404</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           8687      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1800     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us         199314  RELEASEDIR</div><div>      0.00      30.00 us      26.00 us      34.00 us              3      STATFS</div><div>      0.01     121.00 us      94.00 us     155.00 us              9      UNLINK</div><div>      0.01      31.45 us      14.00 us      51.00 us             44     READDIR</div><div>      0.03     106.95 us      13.00 us     618.00 us             60    GETXATTR</div><div>      0.08      32.99 us      16.00 us    1321.00 us            470        STAT</div><div>      3.68      40.79 us      19.00 us     588.00 us          16548     INODELK</div><div>      5.16     114.49 us      60.00 us    8674.00 us           8274       RMDIR</div><div>      7.20      39.89 us       8.00 us    1114.00 us          33114     ENTRYLK</div><div>     17.10      49.37 us       1.00 us    9456.00 us          63574     OPENDIR</div><div>     31.39     115.54 us      15.00 us    4769.00 us          49862      LOOKUP</div><div>     35.33     123.04 us      23.00 us    7915.00 us          52693    READDIRP</div><div><br></div><div>    Duration: 684652 seconds</div><div>   Data Read: 1874518431 bytes</div><div>Data Written: 52198234474 bytes</div><div><br></div><div>Interval 9 Stats:</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us            926  RELEASEDIR</div><div>      0.06      23.40 us      23.00 us      24.00 us              5        STAT</div><div>     23.14      45.95 us      29.00 us    3089.00 us            929     OPENDIR</div><div>     34.89     115.37 us      25.00 us     301.00 us            558    READDIRP</div><div>     41.91     116.09 us      75.00 us    1106.00 us            666      LOOKUP</div><div><br></div><div>    Duration: 58 seconds</div><div>   Data Read: 0 bytes</div><div>Data Written: 0 bytes</div><div><br></div><div>Brick: 10.90.3.4:/data/data0/marketplace_nfs</div><div>--------------------------------------------</div><div>Cumulative Stats:</div><div>   Block Size:                  1b+                  64b+                 128b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   19                     1                     1</div><div><br></div><div>   Block Size:                256b+                 512b+                1024b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                    3                     8                    15</div><div><br></div><div>   Block Size:               2048b+                4096b+                8192b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   55                    71                    92</div><div><br></div><div>   Block Size:              16384b+               32768b+               65536b+</div><div> No. of Reads:                    0                     1                     1</div><div>No. of Writes:                  274                   413                   838</div><div><br></div><div>   Block Size:             131072b+</div><div> No. of Reads:                    3</div><div>No. of Writes:               246923</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           8688      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1792     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us         199385  RELEASEDIR</div><div>      0.00      35.67 us      32.00 us      38.00 us              3      STATFS</div><div>      0.01      31.00 us      17.00 us      56.00 us             44     READDIR</div><div>      0.01     178.92 us      94.00 us     632.00 us             13      UNLINK</div><div>      0.03     119.72 us      13.00 us     597.00 us             60    GETXATTR</div><div>      0.08      37.79 us      18.00 us    1467.00 us            470        STAT</div><div>      3.29      42.40 us      19.00 us     624.00 us          16548     INODELK</div><div>      5.06     130.39 us      58.00 us   12961.00 us           8274       RMDIR</div><div>      7.53      48.42 us       9.00 us    2416.00 us          33122     ENTRYLK</div><div>     19.89      66.66 us       1.00 us    8525.00 us          63574     OPENDIR</div><div>     31.02     125.13 us      24.00 us    6020.00 us          52812    READDIRP</div><div>     33.08     140.87 us      16.00 us    8952.00 us          50033      LOOKUP</div><div><br></div><div>    Duration: 684652 seconds</div><div>   Data Read: 558591 bytes</div><div>Data Written: 32474329315 bytes</div><div><br></div><div>Interval 9 Stats:</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us            926  RELEASEDIR</div><div>      0.06      27.60 us      21.00 us      37.00 us              5        STAT</div><div>     30.85      76.03 us      29.00 us    4056.00 us            929     OPENDIR</div><div>     31.14     130.61 us      29.00 us    3018.00 us            546    READDIRP</div><div>     37.95     130.47 us      52.00 us    1154.00 us            666      LOOKUP</div><div><br></div><div>    Duration: 58 seconds</div><div>   Data Read: 0 bytes</div><div>Data Written: 0 bytes</div><div><br></div><div>Brick: 10.90.3.4:/data/data1/marketplace_nfs</div><div>--------------------------------------------</div><div>Cumulative Stats:</div><div>   Block Size:                  1b+                 128b+                 256b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   11                     3                     2</div><div><br></div><div>   Block Size:                512b+                1024b+                2048b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                    5                     6                    47</div><div><br></div><div>   Block Size:               4096b+                8192b+               16384b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   62                   100                   263</div><div><br></div><div>   Block Size:              32768b+               65536b+              131072b+</div><div> No. of Reads:                    0                     3                   168</div><div>No. of Writes:                  412                   838                334487</div><div><br></div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           8657      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1779     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us         199385  RELEASEDIR</div><div>      0.00      54.33 us      42.00 us      66.00 us              3      STATFS</div><div>      0.00      29.43 us      15.00 us      44.00 us             44     READDIR</div><div>      0.00    5174.50 us      81.00 us   33257.00 us              8      UNLINK</div><div>      0.01      44.76 us      19.00 us   26107.00 us          16548     INODELK</div><div>      0.01     131.59 us      59.00 us   10776.00 us           8274       RMDIR</div><div>      0.01      48.54 us       9.00 us   28337.00 us          33112     ENTRYLK</div><div>      0.04    4452.26 us      18.00 us  132302.00 us           1263        STAT</div><div>      0.24  548915.85 us      13.00 us 5224650.00 us             60    GETXATTR</div><div>      0.93    2414.17 us      16.00 us  203291.00 us          51699      LOOKUP</div><div>      1.48    3129.09 us       1.00 us  228575.00 us          63574     OPENDIR</div><div>     97.28   68862.50 us      17.00 us  460340.00 us         189998    READDIRP</div><div><br></div><div>    Duration: 684653 seconds</div><div>   Data Read: 22303103 bytes</div><div>Data Written: 43952561838 bytes</div><div><br></div><div>Interval 9 Stats:</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us            926  RELEASEDIR</div><div>      0.02    5927.05 us      25.00 us   75030.00 us             20        STAT</div><div>      0.73    5543.27 us      78.00 us  141158.00 us            668      LOOKUP</div><div>      1.29    7060.32 us      27.00 us  144956.00 us            930     OPENDIR</div><div>     97.96  105543.88 us      25.00 us  384946.00 us           4722    READDIRP</div><div><br></div><div>    Duration: 58 seconds</div><div>   Data Read: 0 bytes</div><div>Data Written: 0 bytes</div><div><br></div><div>Brick: 10.90.3.4:/data/data3/marketplace_nfs</div><div>--------------------------------------------</div><div>Cumulative Stats:</div><div>   Block Size:                  1b+                 128b+                 256b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                    8                     1                     3</div><div><br></div><div>   Block Size:                512b+                1024b+                2048b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                    7                    21                    44</div><div><br></div><div>   Block Size:               4096b+                8192b+               16384b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   62                   104                   241</div><div><br></div><div>   Block Size:              32768b+               65536b+              131072b+</div><div> No. of Reads:                    2                     1                     6</div><div>No. of Writes:                  464                   791                285704</div><div><br></div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           8659      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1762     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us         199385  RELEASEDIR</div><div>      0.00      38.33 us      30.00 us      52.00 us              3      STATFS</div><div>      0.00      31.25 us      15.00 us     111.00 us             44     READDIR</div><div>      0.00    1703.00 us      97.00 us   15797.00 us             14      UNLINK</div><div>      0.00      42.25 us      19.00 us   13149.00 us          16548     INODELK</div><div>      0.01     121.61 us      61.00 us    4492.00 us           8274       RMDIR</div><div>      0.01      40.81 us       9.00 us    5622.00 us          33124     ENTRYLK</div><div>      0.05  123021.10 us      13.00 us 2265444.00 us             60    GETXATTR</div><div>      0.12   13702.60 us      17.00 us  296082.00 us           1263        STAT</div><div>      1.16    3452.46 us      15.00 us  272058.00 us          50064      LOOKUP</div><div>      1.45    3379.65 us       1.00 us  325140.00 us          63574     OPENDIR</div><div>     97.20   75905.73 us      21.00 us  533385.00 us         190235    READDIRP</div><div><br></div><div>    Duration: 684652 seconds</div><div>   Data Read: 974227 bytes</div><div>Data Written: 37555843577 bytes</div><div><br></div><div>Interval 9 Stats:</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us            926  RELEASEDIR</div><div>      0.08   20941.70 us      20.00 us  179031.00 us             20        STAT</div><div>      0.98    5891.36 us      27.00 us  180270.00 us            929     OPENDIR</div><div>      1.15    9582.95 us      81.00 us  194474.00 us            666      LOOKUP</div><div>     97.79  113708.24 us      22.00 us  424985.00 us           4784    READDIRP</div><div><br></div><div>    Duration: 58 seconds</div><div>   Data Read: 0 bytes</div><div>Data Written: 0 bytes</div><div><br></div><div>Brick: 10.90.4.82:/data/data1/marketplace_nfs</div><div>---------------------------------------------</div><div>Cumulative Stats:</div><div>   Block Size:                  1b+                 128b+                 256b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   11                     3                     2</div><div><br></div><div>   Block Size:                512b+                1024b+                2048b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                    5                     6                    47</div><div><br></div><div>   Block Size:               4096b+                8192b+               16384b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   62                   100                   263</div><div><br></div><div>   Block Size:              32768b+               65536b+              131072b+</div><div> No. of Reads:                    0                     2                    43</div><div>No. of Writes:                  412                   838                334487</div><div><br></div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           8662      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1779     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us         199383  RELEASEDIR</div><div>      0.00      56.33 us      35.00 us      67.00 us              3      STATFS</div><div>      0.01     155.88 us     112.00 us     235.00 us              8      UNLINK</div><div>      0.01      30.86 us      16.00 us      61.00 us             44     READDIR</div><div>      0.03     120.55 us      13.00 us     343.00 us             60    GETXATTR</div><div>      0.10      45.39 us      22.00 us    2903.00 us            470        STAT</div><div>      3.27      41.38 us      20.00 us    1282.00 us          16548     INODELK</div><div>      4.04     102.23 us      60.00 us    6847.00 us           8274       RMDIR</div><div>      5.91      37.39 us       9.00 us    1601.00 us          33112     ENTRYLK</div><div>     21.07      69.38 us      37.00 us    9144.00 us          63574     OPENDIR</div><div>     30.59     121.72 us      36.00 us    7740.00 us          52616    READDIRP</div><div>     34.97     141.63 us      87.00 us    5463.00 us          51699      LOOKUP</div><div><br></div><div>    Duration: 684653 seconds</div><div>   Data Read: 5784405 bytes</div><div>Data Written: 43952561838 bytes</div><div><br></div><div>Interval 9 Stats:</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us            926  RELEASEDIR</div><div>      0.04      22.60 us      22.00 us      43.00 us              5        STAT</div><div>     27.35     131.09 us      36.00 us    2312.00 us            554    READDIRP</div><div>     31.73      90.78 us      37.00 us    9144.00 us            928     OPENDIR</div><div>     40.88     162.48 us      87.00 us    4127.00 us            668      LOOKUP</div><div><br></div><div>    Duration: 57 seconds</div><div>   Data Read: 0 bytes</div><div>Data Written: 0 bytes</div><div><br></div><div>Brick: 10.90.4.82:/data/data0/marketplace_nfs</div><div>---------------------------------------------</div><div>Cumulative Stats:</div><div>   Block Size:                  1b+                  64b+                 128b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   11                     1                     1</div><div><br></div><div>   Block Size:                256b+                 512b+                1024b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                    7                    10                    15</div><div><br></div><div>   Block Size:               2048b+                4096b+                8192b+</div><div> No. of Reads:                    0                     0                     2</div><div>No. of Writes:                   46                    63                   120</div><div><br></div><div>   Block Size:              16384b+               32768b+               65536b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                  248                   438                   866</div><div><br></div><div>   Block Size:             131072b+</div><div> No. of Reads:                  171</div><div>No. of Writes:               350568</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           8702      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1862     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us         199383  RELEASEDIR</div><div>      0.00      33.45 us      15.00 us      66.00 us             44     READDIR</div><div>      0.00    1804.00 us      43.00 us    5262.00 us              3      STATFS</div><div>      0.00     678.89 us      90.00 us    5115.00 us              9      UNLINK</div><div>      0.00     465.45 us      13.00 us   11085.00 us             60    GETXATTR</div><div>      0.01      45.88 us      19.00 us   11892.00 us          16548     INODELK</div><div>      0.01     105.35 us      63.00 us    2869.00 us           8274       RMDIR</div><div>      0.02      38.91 us       9.00 us   18766.00 us          33114     ENTRYLK</div><div>      0.10    6311.11 us      30.00 us  230926.00 us           1264        STAT</div><div>      0.96    1596.82 us     101.00 us  304352.00 us          50059      LOOKUP</div><div>      1.11    1456.50 us      30.00 us  309713.00 us          63574     OPENDIR</div><div>     97.81   43329.13 us      27.00 us 1075779.00 us         188746    READDIRP</div><div><br></div><div>    Duration: 684653 seconds</div><div>   Data Read: 22434084 bytes</div><div>Data Written: 46064215951 bytes</div><div><br></div><div>Interval 9 Stats:</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us            926  RELEASEDIR</div><div>      0.03    2744.90 us      30.00 us   49925.00 us             20        STAT</div><div>      0.66    2076.87 us     101.00 us  149921.00 us            666      LOOKUP</div><div>      0.83    1897.86 us      30.00 us  204514.00 us            928     OPENDIR</div><div>     98.48   44524.85 us      27.00 us 1075779.00 us           4669    READDIRP</div><div><br></div><div>    Duration: 57 seconds</div><div>   Data Read: 0 bytes</div><div>Data Written: 0 bytes</div><div><br></div><div>Brick: 10.90.4.82:/data/data3/marketplace_nfs</div><div>---------------------------------------------</div><div>Cumulative Stats:</div><div>   Block Size:                  1b+                 128b+                 256b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                    8                     1                     3</div><div><br></div><div>   Block Size:                512b+                1024b+                2048b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                    7                    21                    44</div><div><br></div><div>   Block Size:               4096b+                8192b+               16384b+</div><div> No. of Reads:                    0                     1                     0</div><div>No. of Writes:                   62                   104                   241</div><div><br></div><div>   Block Size:              32768b+               65536b+              131072b+</div><div> No. of Reads:                    0                     0                  2099</div><div>No. of Writes:                  464                   791                285704</div><div><br></div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           8665      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1762     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us         199383  RELEASEDIR</div><div>      0.00      28.00 us      24.00 us      31.00 us              3      STATFS</div><div>      0.01      32.00 us      16.00 us      61.00 us             44     READDIR</div><div>      0.01     110.00 us      84.00 us     138.00 us             14      UNLINK</div><div>      0.04     117.45 us      13.00 us     636.00 us             60    GETXATTR</div><div>      0.09      37.84 us      58.00 us    2402.00 us            470        STAT</div><div>      3.58      40.91 us      19.00 us    3205.00 us          16548     INODELK</div><div>      4.53     103.60 us      59.00 us    4561.00 us           8274       RMDIR</div><div>      6.06      34.60 us       9.00 us    1404.00 us          33124     ENTRYLK</div><div>     18.68      55.57 us      33.00 us    5689.00 us          63575     OPENDIR</div><div>     32.75     117.30 us      30.00 us    6893.00 us          52807    READDIRP</div><div>     34.25     129.40 us     103.00 us    5439.00 us          50064      LOOKUP</div><div><br></div><div>    Duration: 684653 seconds</div><div>   Data Read: 275135247 bytes</div><div>Data Written: 37555843577 bytes</div><div><br></div><div>Interval 9 Stats:</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us            926  RELEASEDIR</div><div>      0.06      27.80 us      58.00 us      58.00 us              5        STAT</div><div>     28.17      70.89 us      33.00 us    4767.00 us            928     OPENDIR</div><div>     30.52     126.15 us      30.00 us    3003.00 us            565    READDIRP</div><div>     41.25     144.62 us     103.00 us    2822.00 us            666      LOOKUP</div><div><br></div><div>    Duration: 57 seconds</div><div>   Data Read: 0 bytes</div><div>Data Written: 0 bytes</div><div><br></div><div>Brick: 10.90.4.82:/data/data2/marketplace_nfs</div><div>---------------------------------------------</div><div>Cumulative Stats:</div><div>   Block Size:                  1b+                  16b+                  64b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   12                     1                     4</div><div><br></div><div>   Block Size:                128b+                 256b+                 512b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                    1                     3                     7</div><div><br></div><div>   Block Size:               1024b+                2048b+                4096b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   14                    43                    68</div><div><br></div><div>   Block Size:               8192b+               16384b+               32768b+</div><div> No. of Reads:                    0                     1                     0</div><div>No. of Writes:                  114                   263                   419</div><div><br></div><div>   Block Size:              65536b+              131072b+</div><div> No. of Reads:                    2                   352</div><div>No. of Writes:                  824                322197</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           8705      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1807     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us         199308  RELEASEDIR</div><div>      0.00      29.33 us      22.00 us      36.00 us              3      STATFS</div><div>      0.00      68.50 us      47.00 us      90.00 us              2    READLINK</div><div>      0.00      28.57 us      14.00 us      46.00 us             44     READDIR</div><div>      0.00     344.00 us      10.00 us    4695.00 us             60    GETXATTR</div><div>      0.00    1442.17 us      93.00 us    8467.00 us             18      UNLINK</div><div>      0.01     100.33 us      60.00 us    8658.00 us           8274       RMDIR</div><div>      0.01      70.57 us      20.00 us  485119.00 us          16548     INODELK</div><div>      0.03      86.06 us       9.00 us  889356.00 us          33132     ENTRYLK</div><div>      0.12    9973.16 us      24.00 us  403909.00 us           1264        STAT</div><div>      1.06    2120.37 us      89.00 us  411175.00 us          50520      LOOKUP</div><div>      1.20    1900.07 us      30.00 us  374073.00 us          63575     OPENDIR</div><div>     97.57   52219.09 us      28.00 us 1051061.00 us         188703    READDIRP</div><div><br></div><div>    Duration: 684653 seconds</div><div>   Data Read: 46382302 bytes</div><div>Data Written: 42340686672 bytes</div><div><br></div><div>Interval 9 Stats:</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us            926  RELEASEDIR</div><div>      0.06    6935.55 us      24.00 us  135183.00 us             20        STAT</div><div>      0.37    1290.03 us      89.00 us  168901.00 us            668      LOOKUP</div><div>      0.60    1503.80 us      30.00 us  185597.00 us            929     OPENDIR</div><div>     98.97   49757.74 us      28.00 us 1051061.00 us           4625    READDIRP</div><div><br></div><div>    Duration: 57 seconds</div><div>   Data Read: 0 bytes</div><div>Data Written: 0 bytes</div><div><br></div><div>Brick: 10.90.5.26:/data/data0/marketplace_nfs</div><div>---------------------------------------------</div><div>Cumulative Stats:</div><div>   Block Size:                  1b+                  64b+                 128b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   11                     1                     1</div><div><br></div><div>   Block Size:                256b+                 512b+                1024b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                    7                    10                    15</div><div><br></div><div>   Block Size:               2048b+                4096b+                8192b+</div><div> No. of Reads:                    0                     1                     0</div><div>No. of Writes:                   46                    63                   120</div><div><br></div><div>   Block Size:              16384b+               32768b+               65536b+</div><div> No. of Reads:                    2                     0                     1</div><div>No. of Writes:                  248                   438                   866</div><div><br></div><div>   Block Size:             131072b+</div><div> No. of Reads:                  905</div><div>No. of Writes:               350568</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           8710      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1862     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us         199383  RELEASEDIR</div><div>      0.00     109.67 us      32.00 us     238.00 us              3      STATFS</div><div>      0.01      37.95 us      20.00 us      82.00 us             44     READDIR</div><div>      0.02     407.44 us      95.00 us    2742.00 us              9      UNLINK</div><div>      0.03     114.35 us      17.00 us     417.00 us             60    GETXATTR</div><div>      0.10      45.22 us      18.00 us    1975.00 us            470        STAT</div><div>      3.23      39.57 us      17.00 us     512.00 us          16548     INODELK</div><div>      4.09     100.09 us      61.00 us    5656.00 us           8274       RMDIR</div><div>      6.11      37.33 us       9.00 us    1217.00 us          33114     ENTRYLK</div><div>     20.72      65.99 us       1.00 us    6995.00 us          63574     OPENDIR</div><div>     31.05     119.10 us      24.00 us    7180.00 us          52780    READDIRP</div><div>     34.64     140.09 us      22.00 us    7989.00 us          50059      LOOKUP</div><div><br></div><div>    Duration: 684616 seconds</div><div>   Data Read: 118761609 bytes</div><div>Data Written: 46064215951 bytes</div><div><br></div><div>Interval 9 Stats:</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us            926  RELEASEDIR</div><div>      0.45     229.20 us      22.00 us    1051.00 us              5        STAT</div><div>     29.27     133.60 us      25.00 us    5005.00 us            558    READDIRP</div><div>     29.65      81.38 us      30.00 us    3405.00 us            928     OPENDIR</div><div>     40.63     155.39 us      67.00 us    2723.00 us            666      LOOKUP</div><div><br></div><div>    Duration: 57 seconds</div><div>   Data Read: 0 bytes</div><div>Data Written: 0 bytes</div><div><br></div><div>Brick: 10.90.5.26:/data/data2/marketplace_nfs</div><div>---------------------------------------------</div><div>Cumulative Stats:</div><div>   Block Size:                  1b+                  16b+                  64b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   12                     1                     4</div><div><br></div><div>   Block Size:                128b+                 256b+                 512b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                    1                     3                     7</div><div><br></div><div>   Block Size:               1024b+                2048b+                4096b+</div><div> No. of Reads:                    0                     0                     1</div><div>No. of Writes:                   14                    43                    68</div><div><br></div><div>   Block Size:               8192b+               16384b+               32768b+</div><div> No. of Reads:                    0                     0                     1</div><div>No. of Writes:                  114                   263                   419</div><div><br></div><div>   Block Size:              65536b+              131072b+</div><div> No. of Reads:                    1                 10072</div><div>No. of Writes:                  824                322197</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           8714      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1807     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us         199308  RELEASEDIR</div><div>      0.00      44.33 us      25.00 us      73.00 us              3      STATFS</div><div>      0.01      35.36 us      17.00 us      64.00 us             44     READDIR</div><div>      0.07     204.87 us      14.00 us    3290.00 us             60    GETXATTR</div><div>      0.07     706.28 us      98.00 us   10710.00 us             18      UNLINK</div><div>      0.09      34.82 us      18.00 us    2003.00 us            470        STAT</div><div>      2.80      53.16 us      24.00 us    5770.00 us           9488    READLINK</div><div>      3.50      38.14 us      19.00 us    2399.00 us          16548     INODELK</div><div>      4.40      95.87 us      54.00 us   10825.00 us           8274       RMDIR</div><div>      5.82      31.65 us       8.00 us    2535.00 us          33132     ENTRYLK</div><div>     17.28      49.00 us       1.00 us    4676.00 us          63574     OPENDIR</div><div>     32.61     116.38 us      21.00 us    8548.00 us          50519      LOOKUP</div><div>     33.36     114.35 us      25.00 us    8772.00 us          52588    READDIRP</div><div><br></div><div>    Duration: 684615 seconds</div><div>   Data Read: 1320327387 bytes</div><div>Data Written: 42340686672 bytes</div><div><br></div><div>Interval 9 Stats:</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us            926  RELEASEDIR</div><div>      0.05      45.50 us      45.00 us      46.00 us              2    READLINK</div><div>      0.07      24.20 us      21.00 us      28.00 us              5        STAT</div><div>     21.85      43.76 us      28.00 us     829.00 us            928     OPENDIR</div><div>     35.71     121.53 us      25.00 us    2901.00 us            546    READDIRP</div><div>     42.33     117.76 us      55.00 us     296.00 us            668      LOOKUP</div><div><br></div><div>    Duration: 57 seconds</div><div>   Data Read: 0 bytes</div><div>Data Written: 0 bytes</div><div><br></div><div>Brick: 10.90.5.26:/data/data1/marketplace_nfs</div><div>---------------------------------------------</div><div>Cumulative Stats:</div><div>   Block Size:                  1b+                  64b+                 128b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   19                     1                     1</div><div><br></div><div>   Block Size:                256b+                 512b+                1024b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                    3                     8                    15</div><div><br></div><div>   Block Size:               2048b+                4096b+                8192b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   55                    71                    92</div><div><br></div><div>   Block Size:              16384b+               32768b+               65536b+</div><div> No. of Reads:                    2                     0                     4</div><div>No. of Writes:                  274                   413                   838</div><div><br></div><div>   Block Size:             131072b+</div><div> No. of Reads:                15212</div><div>No. of Writes:               246923</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           8683      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1792     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us         199383  RELEASEDIR</div><div>      0.00      73.67 us      24.00 us     152.00 us              3      STATFS</div><div>      0.00      28.59 us      14.00 us      55.00 us             44     READDIR</div><div>      0.00     179.22 us      11.00 us    2137.00 us             60    GETXATTR</div><div>      0.00    1016.15 us      93.00 us    8833.00 us             13      UNLINK</div><div>      0.01      43.64 us      20.00 us    8567.00 us          16548     INODELK</div><div>      0.01     105.54 us      60.00 us   18316.00 us           8274       RMDIR</div><div>      0.02      37.47 us      10.00 us    2952.00 us          33122     ENTRYLK</div><div>      0.07    3915.24 us      17.00 us  210047.00 us           1263        STAT</div><div>      0.76    1109.99 us      19.00 us  206017.00 us          50033      LOOKUP</div><div>      0.99    1141.17 us       1.00 us  240750.00 us          63574     OPENDIR</div><div>     98.15   40529.31 us      23.00 us 1009517.00 us         177968    READDIRP</div><div><br></div><div>    Duration: 684616 seconds</div><div>   Data Read: 1994272237 bytes</div><div>Data Written: 32474329315 bytes</div><div><br></div><div>Interval 9 Stats:</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us            926  RELEASEDIR</div><div>      0.18   16199.70 us      21.00 us  169000.00 us             20        STAT</div><div>      0.45    1231.90 us      57.00 us   80090.00 us            666      LOOKUP</div><div>      0.51     990.99 us      28.00 us  117563.00 us            928     OPENDIR</div><div>     98.86   42375.20 us      27.00 us  425098.00 us           4223    READDIRP</div><div><br></div><div>    Duration: 57 seconds</div><div>   Data Read: 0 bytes</div><div>Data Written: 0 bytes</div><div><br></div><div>Brick: 10.90.5.26:/data/data3/marketplace_nfs</div><div>---------------------------------------------</div><div>Cumulative Stats:</div><div>   Block Size:                  1b+                  64b+                 128b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   15                     1                     2</div><div><br></div><div>   Block Size:                256b+                 512b+                1024b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                    4                     5                    20</div><div><br></div><div>   Block Size:               2048b+                4096b+                8192b+</div><div> No. of Reads:                    0                     0                     0</div><div>No. of Writes:                   50                    67                   114</div><div><br></div><div>   Block Size:              16384b+               32768b+               65536b+</div><div> No. of Reads:                    2                     1                     1</div><div>No. of Writes:                  273                   391                   831</div><div><br></div><div>   Block Size:             131072b+</div><div> No. of Reads:                14324</div><div>No. of Writes:               397404</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us           8669      FORGET</div><div>      0.00       0.00 us       0.00 us       0.00 us           1800     RELEASE</div><div>      0.00       0.00 us       0.00 us       0.00 us         199389  RELEASEDIR</div><div>      0.00      47.00 us      30.00 us      79.00 us              3      STATFS</div><div>      0.00     171.32 us      15.00 us    6207.00 us             44     READDIR</div><div>      0.00     463.12 us      13.00 us    7289.00 us             60    GETXATTR</div><div>      0.00    3234.22 us      99.00 us   24983.00 us              9      UNLINK</div><div>      0.01      45.34 us      19.00 us   21238.00 us          16548     INODELK</div><div>      0.01     104.78 us      54.00 us   15752.00 us           8274       RMDIR</div><div>      0.01      38.32 us       9.00 us   22041.00 us          33114     ENTRYLK</div><div>      0.14   11662.03 us      15.00 us  313625.00 us           1263        STAT</div><div>      1.07    2314.18 us      29.00 us  288612.00 us          49863      LOOKUP</div><div>      1.30    2209.79 us       1.00 us  363556.00 us          63573     OPENDIR</div><div>     97.46   55158.65 us      25.00 us  602484.00 us         190328    READDIRP</div><div><br></div><div>    Duration: 684616 seconds</div><div>   Data Read: 1877692288 bytes</div><div>Data Written: 52198234474 bytes</div><div><br></div><div>Interval 9 Stats:</div><div> %-latency   Avg-latency   Min-Latency   Max-Latency   No. of calls         Fop</div><div> ---------   -----------   -----------   -----------   ------------        ----</div><div>      0.00       0.00 us       0.00 us       0.00 us            926  RELEASEDIR</div><div>      0.16   18884.20 us      21.00 us  172352.00 us             20        STAT</div><div>      0.61    1582.79 us      27.00 us  232040.00 us            927     OPENDIR</div><div>      0.75    2693.21 us      58.00 us  212646.00 us            666      LOOKUP</div><div>     98.49   50363.67 us      26.00 us  438706.00 us           4708    READDIRP</div><div><br></div><div>    Duration: 57 seconds</div><div>   Data Read: 0 bytes</div><div>Data Written: 0 bytes</div></div></div>