<HTML><HEAD>
<STYLE id=eMClientCss>BLOCKQUOTE.cite {
        PADDING-LEFT: 10px; MARGIN-LEFT: 5px; BORDER-LEFT: #cccccc 1px solid; PADDING-RIGHT: 0px; MARGIN-RIGHT: 0px
}
BLOCKQUOTE.cite2 {
        MARGIN-TOP: 3px; PADDING-TOP: 0px; PADDING-LEFT: 10px; MARGIN-LEFT: 5px; BORDER-LEFT: #cccccc 1px solid; PADDING-RIGHT: 0px; MARGIN-RIGHT: 0px
}
.plain PRE {
        FONT-SIZE: 100%; FONT-FAMILY: monospace; FONT-WEIGHT: normal; FONT-STYLE: normal
}
.plain TT {
        FONT-SIZE: 100%; FONT-FAMILY: monospace; FONT-WEIGHT: normal; FONT-STYLE: normal
}
A IMG {
        BORDER-TOP: 0px; BORDER-RIGHT: 0px; BORDER-BOTTOM: 0px; BORDER-LEFT: 0px
}
#x702fd75f6d9146f8b7ce5d41e960aea1 {
        FONT-SIZE: 12pt; FONT-FAMILY: Times New Roman
}
.plain PRE {
        FONT-SIZE: 12pt; FONT-FAMILY: Times New Roman
}
.plain TT {
        FONT-SIZE: 12pt; FONT-FAMILY: Times New Roman
}
BODY {
        FONT-SIZE: 12pt; FONT-FAMILY: Times New Roman
}
#x702fd75f6d9146f8b7ce5d41e960aea1 DIV.MsoNormal {
        FONT-SIZE: 11pt; FONT-FAMILY: "Calibri","sans-serif"; MARGIN: 0in 0in 0pt
}
#x702fd75f6d9146f8b7ce5d41e960aea1 LI.MsoNormal {
        FONT-SIZE: 11pt; FONT-FAMILY: "Calibri","sans-serif"; MARGIN: 0in 0in 0pt
}
#x702fd75f6d9146f8b7ce5d41e960aea1 SPAN.MsoHyperlink {
        TEXT-DECORATION: underline; COLOR: blue; mso-style-priority: 99
}
#x702fd75f6d9146f8b7ce5d41e960aea1 SPAN.MsoHyperlinkFollowed {
        TEXT-DECORATION: underline; COLOR: purple; mso-style-priority: 99
}
</STYLE>

<STYLE title=signatureStyle>#x99d0c83487814dbda3bd1696eb29eaa0 P.MsoNormal {
        FONT-SIZE: 11pt; FONT-FAMILY: "Calibri","sans-serif"; MARGIN: 0in 0in 0pt
}
DIV.MsoNormal {
        FONT-SIZE: 11pt; FONT-FAMILY: "Calibri","sans-serif"; MARGIN: 0in 0in 0pt
}
LI.MsoNormal {
        FONT-SIZE: 11pt; FONT-FAMILY: "Calibri","sans-serif"; MARGIN: 0in 0in 0pt
}
#x99d0c83487814dbda3bd1696eb29eaa0 A:link {
        TEXT-DECORATION: underline; COLOR: blue; mso-style-priority: 99
}
SPAN.MsoHyperlink {
        TEXT-DECORATION: underline; COLOR: blue; mso-style-priority: 99
}
#x99d0c83487814dbda3bd1696eb29eaa0 A:visited {
        TEXT-DECORATION: underline; COLOR: purple; mso-style-priority: 99
}
SPAN.MsoHyperlinkFollowed {
        TEXT-DECORATION: underline; COLOR: purple; mso-style-priority: 99
}
#x99d0c83487814dbda3bd1696eb29eaa0 SPAN.EmailStyle17 {
        FONT-FAMILY: "Calibri","sans-serif"; COLOR: windowtext; mso-style-type: personal-compose
}
#x99d0c83487814dbda3bd1696eb29eaa0 .MsoChpDefault {
        FONT-FAMILY: "Calibri","sans-serif"; mso-style-type: export-only
}
#x99d0c83487814dbda3bd1696eb29eaa0 DIV.WordSection1 {
        page: WordSection1
}
</STYLE>
</HEAD>
<BODY>
<DIV>I am sorting a fairly large file (27-million lines) and the output is being written to my gluster storage.&nbsp; This seems to crash glusterfsd for 3.7.8 as noted below.</DIV>
<DIV>Can anyone help?</DIV>
<DIV>&nbsp;</DIV>
<DIV>David</DIV>
<DIV>&nbsp;</DIV>
<DIV>&nbsp;</DIV>
<DIV>[Thu Feb 11 18:25:24 2016] glusterfsd: page allocation failure. order:5, mode:0x20<BR>[Thu Feb 11 18:25:24 2016] Pid: 17868, comm: glusterfsd Not tainted 2.6.32-573.12.1.el6.x86_64 #1<BR>[Thu Feb 11 18:25:24 2016] Call Trace:<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff811376ac&gt;] ? __alloc_pages_nodemask+0x7dc/0x950<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffffa02cba00&gt;] ? mlx4_ib_post_send+0x6c0/0x1f90 [mlx4_ib]<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffffa037076c&gt;] ? xfs_iext_bno_to_ext+0x8c/0x170 [xfs]<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff81176f92&gt;] ? kmem_getpages+0x62/0x170<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff81177baa&gt;] ? fallback_alloc+0x1ba/0x270<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff811775ff&gt;] ? cache_grow+0x2cf/0x320<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff81177929&gt;] ? ____cache_alloc_node+0x99/0x160<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff8145fdb2&gt;] ? pskb_expand_head+0x62/0x280<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff81178579&gt;] ? __kmalloc+0x199/0x230<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff8145fdb2&gt;] ? pskb_expand_head+0x62/0x280<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff812761c2&gt;] ? get_request+0x302/0x3c0<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff8146069a&gt;] ? __pskb_pull_tail+0x2aa/0x360<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff8146f9e9&gt;] ? harmonize_features+0x29/0x70<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff81470054&gt;] ? dev_hard_start_xmit+0x1c4/0x490<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff8148d53a&gt;] ? sch_direct_xmit+0x15a/0x1c0<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff814705c8&gt;] ? dev_queue_xmit+0x228/0x320<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff81476cbd&gt;] ? neigh_connected_output+0xbd/0x100<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff814ac217&gt;] ? ip_finish_output+0x287/0x360<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff814ac3a8&gt;] ? ip_output+0xb8/0xc0<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff814ab635&gt;] ? ip_local_out+0x25/0x30<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff814abb30&gt;] ? ip_queue_xmit+0x190/0x420<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff81136ff9&gt;] ? __alloc_pages_nodemask+0x129/0x950<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff814c1204&gt;] ? tcp_transmit_skb+0x4b4/0x8b0<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff814c374a&gt;] ? tcp_write_xmit+0x1da/0xa90<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff81178dbd&gt;] ? __kmalloc_node+0x4d/0x60<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff814c4030&gt;] ? tcp_push_one+0x30/0x40<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff814b46bc&gt;] ? tcp_sendmsg+0x9cc/0xa20<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff814589eb&gt;] ? sock_aio_write+0x19b/0x1c0<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff81458850&gt;] ? sock_aio_write+0x0/0x1c0<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff8119179b&gt;] ? do_sync_readv_writev+0xfb/0x140<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffffa0345a66&gt;] ? xfs_attr_get+0xb6/0xc0 [xfs]<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffffa039f7ef&gt;] ? __xfs_xattr_get+0x2f/0x50 [xfs]<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff810a1460&gt;] ? autoremove_wake_function+0x0/0x40<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff811ba34c&gt;] ? getxattr+0x9c/0x170<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff81231a16&gt;] ? security_file_permission+0x16/0x20<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff81192846&gt;] ? do_readv_writev+0xd6/0x1f0<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff811929a6&gt;] ? vfs_writev+0x46/0x60<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff81192ad1&gt;] ? sys_writev+0x51/0xd0<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff810e884e&gt;] ? __audit_syscall_exit+0x25e/0x290<BR>[Thu Feb 11 18:25:24 2016]&nbsp; [&lt;ffffffff8100b0d2&gt;] ? system_call_fastpath+0x16/0x1b<BR></DIV>
<DIV><SPAN id=x702fd75f6d9146f8b7ce5d41e960aea1>
<DIV>[root@gfs02bkp ~]# gluster volume info<BR>Volume Name: gfsbackup<BR>Type: Distribute<BR>Volume ID: e78d5123-d9bc-4d88-9c73-61d28abf0b41<BR>Status: Started<BR>Number of Bricks: 7<BR>Transport-type: tcp<BR>Bricks:<BR>Brick1: gfsib01bkp.corvidtec.com:/data/brick01bkp/gfsbackup<BR>Brick2: gfsib01bkp.corvidtec.com:/data/brick02bkp/gfsbackup<BR>Brick3: gfsib02bkp.corvidtec.com:/data/brick01bkp/gfsbackup<BR>Brick4: gfsib02bkp.corvidtec.com:/data/brick02bkp/gfsbackup<BR>Brick5: gfsib02bkp.corvidtec.com:/data/brick03bkp/gfsbackup<BR>Brick6: gfsib02bkp.corvidtec.com:/data/brick04bkp/gfsbackup<BR>Brick7: gfsib02bkp.corvidtec.com:/data/brick05bkp/gfsbackup<BR>Options Reconfigured:<BR>nfs.disable: off<BR>server.allow-insecure: on<BR>storage.owner-gid: 100<BR>server.manage-gids: on<BR>cluster.lookup-optimize: on<BR>server.event-threads: 8<BR>client.event-threads: 8<BR>changelog.changelog: off<BR>storage.build-pgfid: on<BR>performance.readdir-ahead: on<BR>diagnostics.brick-log-level: WARNING<BR>diagnostics.client-log-level: WARNING<BR></DIV>
<DIV>[root@gfs02bkp ~]# rpm -qa | grep gluster<BR>glusterfs-fuse-3.7.8-1.el6.x86_64<BR>glusterfs-geo-replication-3.7.8-1.el6.x86_64<BR>python-gluster-3.7.8-1.el6.noarch<BR>glusterfs-client-xlators-3.7.8-1.el6.x86_64<BR>glusterfs-server-3.7.8-1.el6.x86_64<BR>glusterfs-api-devel-3.7.8-1.el6.x86_64<BR>glusterfs-debuginfo-3.7.8-1.el6.x86_64<BR>glusterfs-3.7.8-1.el6.x86_64<BR>glusterfs-cli-3.7.8-1.el6.x86_64<BR>glusterfs-devel-3.7.8-1.el6.x86_64<BR>glusterfs-rdma-3.7.8-1.el6.x86_64<BR>glusterfs-libs-3.7.8-1.el6.x86_64<BR>glusterfs-extra-xlators-3.7.8-1.el6.x86_64<BR>glusterfs-api-3.7.8-1.el6.x86_64<BR>glusterfs-resource-agents-3.7.8-1.el6.noarch</DIV>
<DIV>&nbsp;</DIV></SPAN></DIV>
<DIV>&nbsp;</DIV>
<DIV id=signature_old>
<DIV style="FONT-SIZE: 12pt; FONT-FAMILY: Times New Roman"><SPAN id=xc493ce70c1c64653841aa9f5ac6ad16e><SPAN id=x834d59d53b4a45d8a1f25809459ef478>
<DIV class=WordSection1><SPAN id=x99d0c83487814dbda3bd1696eb29eaa0>
<P class=MsoNormal>======================== </P>
<P class=MsoNormal>&nbsp;</P>
<P class=MsoNormal><SPAN style='FONT-SIZE: 10pt; FONT-FAMILY: "Times New Roman","serif"'>David F. Robinson, Ph.D.</SPAN></P>
<P class=MsoNormal><SPAN style='FONT-SIZE: 10pt; FONT-FAMILY: "Times New Roman","serif"'>President - Corvid Technologies</SPAN></P>
<P class=MsoNormal><SPAN style='FONT-SIZE: 10pt; FONT-FAMILY: "Times New Roman","serif"'>145 Overhill Drive</SPAN></P>
<P class=MsoNormal><SPAN style='FONT-SIZE: 10pt; FONT-FAMILY: "Times New Roman","serif"'>Mooresville, NC 28117</SPAN></P>
<P class=MsoNormal><SPAN style='FONT-SIZE: 10pt; FONT-FAMILY: "Times New Roman","serif"'>704.799.6944 x101&nbsp;&nbsp; [Office]</SPAN></P>
<P class=MsoNormal><SPAN style='FONT-SIZE: 10pt; FONT-FAMILY: "Times New Roman","serif"'>704.252.1310&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [Cell]</SPAN></P>
<P class=MsoNormal><SPAN style='FONT-SIZE: 10pt; FONT-FAMILY: "Times New Roman","serif"'>704.799.7974&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; [Fax]</SPAN></P>
<P class=MsoNormal>d<A href="mailto:David.Robinson@corvidtec.com">avid.robinson@corvidtec.com</A></P>
<P class=MsoNormal><A href="http://www.corvidtec.com/"><SPAN style='FONT-SIZE: 10pt; FONT-FAMILY: "Times New Roman","serif"; COLOR: blue'>http://www.corvidtec.com</SPAN></A></P></SPAN></DIV></SPAN></SPAN></DIV></DIV>
<DIV>&nbsp;</DIV></BODY></HTML>