<div style="line-height:1.7;color:#000000;font-size:14px;font-family:Arial"><div>Hi,</div><div><br></div><div>Why this is and how to fix it?</div><div>Thanks.</div><div><br></div><div><b>client log:</b></div><div>data1.log:20695:[2015-05-25 03:12:31.084149] W [dht-common.c:2016:dht_getxattr_cbk] (--&gt;/usr/lib64/libgfrpc.so.0(rpc_clnt_handle_reply+0xa5) [0x346d80d6f5] (--&gt;/usr/lib64/glusterfs/3.4.5/xlator/protocol/client.so(client3_3_getxattr_cbk+0x178) [0x7f81fcf33ad8] (--&gt;/usr/lib64/glusterfs/3.4.5/xlator/cluster/replicate.so(afr_getxattr_cbk+0xf8) [0x7f81fccc5168]))) 0-dfs-dht: invalid argument: frame-&gt;local</div><div><br></div><div><b>core dump info:</b></div><div><div>Core was generated by `/usr/sbin/glusterfs --volfile-id=dfs --volfile-server=node1 /dat'.</div><div>Program terminated with signal 11, Segmentation fault.</div><div>#0 &nbsp;0x00007f81fca87354 in dht_getxattr_cbk (frame=0x7f82009efe34, cookie=&lt;value optimized out&gt;, this=&lt;value optimized out&gt;, op_ret=&lt;value optimized out&gt;, op_errno=0,&nbsp;</div><div>&nbsp; &nbsp; xattr=&lt;value optimized out&gt;, xdata=0x0) at dht-common.c:2043</div><div>2043<span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;DHT_STACK_UNWIND (getxattr, frame, local-&gt;op_ret, op_errno,</div><div>Missing separate debuginfos, use: debuginfo-install glibc-2.12-1.132.el6_5.4.x86_64 keyutils-libs-1.4-4.el6.x86_64 krb5-libs-1.10.3-15.el6_5.1.x86_64 libcom_err-1.41.12-18.el6_5.1.x86_64 libgcc-4.4.7-4.el6.x86_64 libselinux-2.0.94-5.3.el6_4.1.x86_64 openssl-1.0.1e-16.el6_5.7.x86_64 zlib-1.2.3-29.el6.x86_64</div><div>(gdb) bt&nbsp;</div><div>#0 &nbsp;0x00007f81fca87354 in dht_getxattr_cbk (frame=0x7f82009efe34, cookie=&lt;value optimized out&gt;, this=&lt;value optimized out&gt;, op_ret=&lt;value optimized out&gt;, op_errno=0,&nbsp;</div><div>&nbsp; &nbsp; xattr=&lt;value optimized out&gt;, xdata=0x0) at dht-common.c:2043</div><div>#1 &nbsp;0x00007f81fccc5168 in afr_getxattr_cbk (frame=0x7f8200a0d32c, cookie=&lt;value optimized out&gt;, this=&lt;value optimized out&gt;, op_ret=0, op_errno=0, dict=0x7f82003a768c,&nbsp;</div><div>&nbsp; &nbsp; xdata=0x0) at afr-inode-read.c:618</div><div>#2 &nbsp;0x00007f81fcf33ad8 in client3_3_getxattr_cbk (req=&lt;value optimized out&gt;, iov=&lt;value optimized out&gt;, count=&lt;value optimized out&gt;, myframe=0x7f82009a58fc)</div><div>&nbsp; &nbsp; at client-rpc-fops.c:1115</div><div>#3 &nbsp;0x000000346d80d6f5 in rpc_clnt_handle_reply (clnt=0x232cb40, pollin=0x1173ac10) at rpc-clnt.c:771</div><div>#4 &nbsp;0x000000346d80ec6f in rpc_clnt_notify (trans=&lt;value optimized out&gt;, mydata=0x232cb70, event=&lt;value optimized out&gt;, data=&lt;value optimized out&gt;) at rpc-clnt.c:891</div><div>#5 &nbsp;0x000000346d80a4e8 in rpc_transport_notify (this=&lt;value optimized out&gt;, event=&lt;value optimized out&gt;, data=&lt;value optimized out&gt;) at rpc-transport.c:497</div><div>#6 &nbsp;0x00007f81fdf7f216 in socket_event_poll_in (this=0x233c5a0) at socket.c:2118</div><div>#7 &nbsp;0x00007f81fdf80c3d in socket_event_handler (fd=&lt;value optimized out&gt;, idx=&lt;value optimized out&gt;, data=0x233c5a0, poll_in=1, poll_out=0, poll_err=0) at socket.c:2230</div><div>#8 &nbsp;0x000000346d45e907 in event_dispatch_epoll_handler (event_pool=0x228be90) at event-epoll.c:384</div><div>#9 &nbsp;event_dispatch_epoll (event_pool=0x228be90) at event-epoll.c:445</div><div>#10 0x0000000000406818 in main (argc=4, argv=0x7fff9e2e4898) at glusterfsd.c:1934</div></div><div><div>(gdb) print ((call_frame_t *)0x7f82009efe34)-&gt;local</div><div>$2 = (void *) 0x0</div></div><div><div>(gdb) l *0x00007f81fca87354</div><div>0x7f81fca87354 is in dht_getxattr_cbk (dht-common.c:2043).</div><div>2038<span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;dht_aggregate_xattr (xattr, local-&gt;xattr);</div><div>2039<span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;local-&gt;xattr = dict_copy (xattr, local-&gt;xattr);</div><div>2040<span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;}</div><div>2041<span class="Apple-tab-span" style="white-space:pre">        </span>out:</div><div>2042<span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;if (is_last_call (this_call_cnt)) {</div><div>2043<span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;DHT_STACK_UNWIND (getxattr, frame, local-&gt;op_ret, op_errno,</div><div>2044<span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;local-&gt;xattr, NULL);</div><div>2045<span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;}</div><div>2046<span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;return 0;</div><div>2047<span class="Apple-tab-span" style="white-space:pre">        </span>}</div></div><div><br></div><div><b>jump code:</b></div><div>2016 &nbsp; &nbsp; &nbsp; &nbsp; VALIDATE_OR_GOTO (frame-&gt;local, out);</div><div><br></div><div><br></div><div><b>volume info:</b></div><div><div># gluster v info</div><div>&nbsp;</div><div>Volume Name: dfs</div><div>Type: Distributed-Replicate</div><div>Volume ID: 1848afb0-44ef-418c-a58f-8d7159ec5d1e</div><div>Status: Started</div><div>Number of Bricks: 2 x 2 = 4</div><div>Transport-type: tcp</div><div>Bricks:</div><div>Brick1: node1:/data/vol/dfs</div><div>Brick2: node2:/data/vol/dfs</div><div>Brick3: node3:/data/vol/dfs</div><div>Brick4: node4:/data/vol/dfs</div><div>Options Reconfigured:</div><div>diagnostics.client-log-level: WARNING</div><div>diagnostics.brick-log-level: WARNING</div><div>nfs.disable: on</div><div>features.quota: on</div><div>features.limit-usage: /video/CLOUD:200TB,/video/YINGSHIKU:200TB,/video/LIVENEW:200TB,/video/SOCIAL:200TB,/video/mini:200TB,/video/2013:200TB,/video:200TB</div></div><div><br></div></div>