<div dir="ltr">Hi Jiffin and Soumya,<div><br></div><div>Ravishankar told me about core generated by gNFS process during ./tests/bugs/snapshot/bug-1140162-file-snapshot-features-encrypt-opts-validation.t.<div><br></div><div>Here is console output:</div><div><a href="https://build.gluster.org/job/rackspace-regression-2GB-triggered/17525/console">https://build.gluster.org/job/rackspace-regression-2GB-triggered/17525/console</a></div><div><br></div><div>And here is the backtrace for convenience </div><div><br></div><div>(gdb) thread apply all bt<br></div><div><div><br></div><div>Thread 9 (LWP 12499):</div><div>#0  0x00007f622f4fda0e in pthread_cond_timedwait@@GLIBC_2.3.2 () from ./lib64/libpthread.so.0</div><div>#1  0x00007f6230258a61 in syncenv_task (proc=0x7f621c0332f0)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/syncop.c:603</div><div>#2  0x00007f6230258d08 in syncenv_processor (thdata=0x7f621c0332f0)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/syncop.c:695</div><div>#3  0x00007f622f4f9a51 in start_thread () from ./lib64/libpthread.so.0</div><div>#4  0x00007f622ee6393d in clone () from ./lib64/libc.so.6</div><div><br></div><div>Thread 8 (LWP 12497):</div><div>#0  0x00007f622edc2e2c in vfprintf () from ./lib64/libc.so.6</div><div>#1  0x00007f622edea752 in vsnprintf () from ./lib64/libc.so.6</div><div>#2  0x00007f6230243f70 in gf_vasprintf (string_ptr=0x7f6220a66ba8,</div><div>    format=0x7f62302aeacd &quot;[%s] %s [%s:%d:%s] %d-%s: &quot;, arg=0x7f6220a66a70)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/mem-pool.c:219</div><div>#3  0x00007f62302440ad in gf_asprintf (string_ptr=0x7f6220a66ba8,</div><div>    format=0x7f62302aeacd &quot;[%s] %s [%s:%d:%s] %d-%s: &quot;)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/mem-pool.c:239</div><div>#4  0x00007f623021d387 in _gf_log (domain=0x7f621c00cde0 &quot;d_exit+0x87) [0x407cdf]&quot;,</div><div>    file=0x7f622272b468 &lt;error: Cannot access memory at address 0x7f622272b468&gt;,</div><div>    function=0x7f622272d130 &lt;error: Cannot access memory at address 0x7f622272d130&gt;, line=2895,</div><div>    level=GF_LOG_INFO, fmt=0x7f622272c690 &lt;error: Cannot access memory at address 0x7f622272c690&gt;)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/logging.c:2216</div><div>#5  0x00007f6222725d99 in ?? ()</div><div>#6  0x0000000000000005 in ?? ()</div><div>#7  0x0000000000000000 in ?? ()</div><div><br></div><div>Thread 7 (LWP 12460):</div><div>#0  0x00007f622f4fda0e in pthread_cond_timedwait@@GLIBC_2.3.2 () from ./lib64/libpthread.so.0</div><div>#1  0x00007f6230258a61 in syncenv_task (proc=0x241b210)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/syncop.c:603</div><div>#2  0x00007f6230258d08 in syncenv_processor (thdata=0x241b210)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/syncop.c:695</div><div>#3  0x00007f622f4f9a51 in start_thread () from ./lib64/libpthread.so.0</div><div>#4  0x00007f622ee6393d in clone () from ./lib64/libc.so.6</div><div><br></div><div>Thread 6 (LWP 12476):</div><div>#0  0x00007f622f5002e4 in __lll_lock_wait () from ./lib64/libpthread.so.0</div><div>#1  0x00007f622f4fb588 in _L_lock_854 () from ./lib64/libpthread.so.0</div><div>#2  0x00007f622f4fb457 in pthread_mutex_lock () from ./lib64/libpthread.so.0</div><div>#3  0x00007f623021ca6c in _gf_msg (domain=0x4117ef &lt;error: Cannot access memory at address 0x4117ef&gt;,</div><div>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---</div><div>    file=0x411468 &lt;error: Cannot access memory at address 0x411468&gt;,</div><div>    function=0x4125d0 &lt;__FUNCTION__.18918&gt; &lt;error: Cannot access memory at address 0x4125d0&gt;, line=1231,</div><div>    level=GF_LOG_WARNING, errnum=0, trace=1, msgid=100032,</div><div>    fmt=0x411bb0 &lt;error: Cannot access memory at address 0x411bb0&gt;)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/logging.c:2055</div><div>#4  0x0000000000407cdf in cleanup_and_exit (signum=0)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/glusterfsd/src/glusterfsd.c:1231</div><div>#5  0x0000000000409ee4 in glusterfs_process_volfp (ctx=0x23f6010, fp=0x7f621c001400)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/glusterfsd/src/glusterfsd.c:2202</div><div>#6  0x000000000040e71d in mgmt_getspec_cbk (req=0x7f621c001a4c, iov=0x7f621c001a8c, count=1,</div><div>    myframe=0x7f621c00135c)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/glusterfsd/src/glusterfsd-mgmt.c:1640</div><div>#7  0x00007f622ffe242a in rpc_clnt_handle_reply (clnt=0x244e450, pollin=0x7f621c0026c0)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/rpc/rpc-lib/src/rpc-clnt.c:759</div><div>#8  0x00007f622ffe28c8 in rpc_clnt_notify (trans=0x244e8d0, mydata=0x244e480,</div><div>    event=RPC_TRANSPORT_MSG_RECEIVED, data=0x7f621c0026c0)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/rpc/rpc-lib/src/rpc-clnt.c:900</div><div>#9  0x00007f622ffdeb5a in rpc_transport_notify (this=0x244e8d0, event=RPC_TRANSPORT_MSG_RECEIVED,</div><div>    data=0x7f621c0026c0)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/rpc/rpc-lib/src/rpc-transport.c:541</div><div>#10 0x00007f62257d0dcb in socket_event_poll_in (this=0x244e8d0)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/rpc/rpc-transport/socket/src/socket.c:2231</div><div>#11 0x00007f62257d1321 in socket_event_handler (fd=9, idx=1, data=0x244e8d0, poll_in=1, poll_out=0,</div><div>    poll_err=0)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/rpc/rpc-transport/socket/src/socket.c:2344</div><div>#12 0x00007f623027a1c0 in event_dispatch_epoll_handler (event_pool=0x2414ce0, event=0x7f62241a8e70)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/event-epoll.c:571</div><div>#13 0x00007f623027a5ae in event_dispatch_epoll_worker (data=0x244faa0)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/event-epoll.c:674</div><div>#14 0x00007f622f4f9a51 in start_thread () from ./lib64/libpthread.so.0</div><div>#15 0x00007f622ee6393d in clone () from ./lib64/libc.so.6</div><div><br></div><div>Thread 5 (LWP 12461):</div><div>#0  0x00007f622f4fda0e in pthread_cond_timedwait@@GLIBC_2.3.2 () from ./lib64/libpthread.so.0</div><div>#1  0x00007f6230258a61 in syncenv_task (proc=0x241b5d0)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/syncop.c:603</div><div>#2  0x00007f6230258d08 in syncenv_processor (thdata=0x241b5d0)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/syncop.c:695</div><div>#3  0x00007f622f4f9a51 in start_thread () from ./lib64/libpthread.so.0</div><div>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---</div><div>#4  0x00007f622ee6393d in clone () from ./lib64/libc.so.6</div><div><br></div><div>Thread 4 (LWP 12459):</div><div>#0  0x00007f622f501535 in sigwait () from ./lib64/libpthread.so.0</div><div>#1  0x000000000040983d in glusterfs_sigwaiter (arg=0x7ffd0a272f50) at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/glusterfsd/src/glusterfsd.c:2001</div><div>#2  0x00007f622f4f9a51 in start_thread () from ./lib64/libpthread.so.0</div><div>#3  0x00007f622ee6393d in clone () from ./lib64/libc.so.6</div><div><br></div><div>Thread 3 (LWP 12457):</div><div>#0  0x00007f622f4fa2ad in pthread_join () from ./lib64/libpthread.so.0</div><div>#1  0x00007f623027a7d6 in event_dispatch_epoll (event_pool=0x2414ce0) at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/event-epoll.c:758</div><div>#2  0x00007f6230243082 in event_dispatch (event_pool=0x2414ce0) at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/event.c:124</div><div>#3  0x000000000040a3aa in main (argc=11, argv=0x7ffd0a2741b8) at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/glusterfsd/src/glusterfsd.c:2345</div><div><br></div><div>Thread 2 (LWP 12458):</div><div>#0  0x00007f622f500fbd in nanosleep () from ./lib64/libpthread.so.0</div><div>#1  0x00007f623022814f in gf_timer_proc (ctx=0x23f6010) at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/timer.c:188</div><div>#2  0x00007f622f4f9a51 in start_thread () from ./lib64/libpthread.so.0</div><div>#3  0x00007f622ee6393d in clone () from ./lib64/libc.so.6</div><div><br></div><div>Thread 1 (LWP 12496):</div><div>#0  0x00007f62235a2867 in ?? () from ./lib64/libgcc_s.so.1</div><div>#1  0x00007f62235a3119 in _Unwind_Backtrace () from ./lib64/libgcc_s.so.1</div><div>#2  0x00007f622ee79936 in backtrace () from ./lib64/libc.so.6</div><div>#3  0x00007f623021a143 in _gf_msg_backtrace_nomem (level=GF_LOG_ALERT, stacksize=200)</div><div>    at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/logging.c:1090</div><div>#4  0x00007f623021ff08 in gf_print_trace (signum=11, ctx=0x23f6010) at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/libglusterfs/src/common-utils.c:740</div><div>#5  0x00000000004098d6 in glusterfsd_print_trace (signum=11) at /home/jenkins/root/workspace/rackspace-regression-2GB-triggered/glusterfsd/src/glusterfsd.c:2033</div><div>#6  &lt;signal handler called&gt;</div><div>#7  0x00007f62224ea5ed in ?? ()</div><div>#8  0x0000000000000000 in ?? ()</div></div><div><br></div></div></div>