<div style="line-height:1.7;color:#000000;font-size:14px;font-family:Arial"><div>Hi Atin,</div><div>Now I have known that the info and bricks/* are removed by the function&nbsp;glusterd_delete_stale_volume().</div><div>But I have not known how to solve this issue.</div><div><br></div><div>Thanks,</div><div>Xin</div><br><br><br><br><div style="position:relative;zoom:1"></div><div id="divNeteaseMailCard"></div><br>在 2016-11-15 12:07:05,"Atin Mukherjee" &lt;amukherj@redhat.com&gt; 写道:<br> <blockquote id="isReplyContent" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Nov 15, 2016 at 8:58 AM, songxin <span dir="ltr">&lt;<a href="mailto:songxin_1980@126.com" target="_blank">songxin_1980@126.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="line-height:1.7;color:rgb(0,0,0);font-size:14px;font-family:arial"><div>Hi Atin,</div><div>I have some clues about this issue.</div><div>I could reproduce this issue use the scrip that mentioned in&nbsp;<a href="https://bugzilla.redhat.com/show_bug.cgi?id=1308487" style="color:rgb(59,115,175);font-family:arial,sans-serif;line-height:20px;background-color:rgb(245,245,245)" target="_blank">https://bugzilla.redhat.<wbr></wbr>com/show_bug.cgi?id=1308487</a><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px;background-color:rgb(245,245,245)">&nbsp;.</span></div></div></blockquote><div><br></div><div>I really appreciate your help in trying to nail down this issue. While I am at your email and going through the code to figure out the possible cause for it, unfortunately I don't see any script in the attachment of the bug.&nbsp; Could you please cross check?<br>&nbsp;<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="line-height:1.7;color:rgb(0,0,0);font-size:14px;font-family:arial"><div><br></div><div>After I added some debug print,which like below, in glusterd-store.c and I found that the&nbsp;/var/lib/glusterd/vols/<wbr></wbr>xxx/info and&nbsp;<span style="line-height:23.8px">/var/lib/glusterd/vols/<wbr></wbr>xxx/bricks/* are removed.&nbsp;</span></div><div><span style="line-height:23.8px">But other files in&nbsp;</span><span style="line-height:23.8px">/var/lib/glusterd/vols/xxx/ will not be remove.</span></div><br><div>int32_t</div><div>glusterd_store_volinfo (glusterd_volinfo_t *volinfo, glusterd_volinfo_ver_ac_t ac)</div><div>{</div><div>&nbsp; &nbsp; &nbsp; &nbsp; int32_t &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ret = -1;</div><div><br></div><div>&nbsp; &nbsp; &nbsp; &nbsp; GF_ASSERT (volinfo)</div><div><br></div><div><div>&nbsp; &nbsp; &nbsp; &nbsp; ret = access("/var/lib/glusterd/<wbr></wbr>vols/gv0/info", F_OK);</div><div>&nbsp; &nbsp; &nbsp; &nbsp; if(ret &lt; 0)</div><div>&nbsp; &nbsp; &nbsp; &nbsp; {</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; gf_msg (THIS-&gt;name, GF_LOG_ERROR, 0, 0, "info is not exit(%d)", errno);</div><div>&nbsp; &nbsp; &nbsp; &nbsp; }</div><div>&nbsp; &nbsp; &nbsp; &nbsp; else</div><div>&nbsp; &nbsp; &nbsp; &nbsp; {</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ret = stat("/var/lib/glusterd/vols/<wbr></wbr>gv0/info", &amp;buf);</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; if(ret &lt; 0)</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; gf_msg (THIS-&gt;name, GF_LOG_ERROR, 0, 0, "stat info error");</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; }</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; else</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; {</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; gf_msg (THIS-&gt;name, GF_LOG_ERROR, 0, 0, "info size is %lu, inode num is %lu", buf.st_size, buf.st_ino);</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; }</div><div>&nbsp; &nbsp; &nbsp; &nbsp; }</div></div><div><br></div><div>&nbsp; &nbsp; &nbsp; &nbsp; glusterd_perform_volinfo_<wbr></wbr>version_action (volinfo, ac);</div><div><div>&nbsp; &nbsp; &nbsp; &nbsp; ret = glusterd_store_create_volume_<wbr></wbr>dir (volinfo);</div><div>&nbsp; &nbsp; &nbsp; &nbsp; if (ret)</div><div>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; goto out;</div></div><div><br></div><div>...</div><div>}</div><div><br></div><div>So it is easy to understand why &nbsp;the info or&nbsp;<span style="font-family:arial;line-height:23.8px;white-space:pre-wrap">10.32.1.144.-opt-lvmdir-c2-<wbr></wbr>bri</span><span style="font-family:arial;line-height:23.8px;white-space:pre-wrap">ck&nbsp;</span><span style="line-height:23.8px">sometimes</span><span style="font-family:arial;line-height:23.8px;white-space:pre-wrap"> is empty.</span></div><div><font face="arial"><span style="white-space:pre-wrap">It is becaue the info file is not exist, and it will be create by “fd = open (path, O_RDWR | O_CREAT | O_APPEND, 0600);</span></font><span style="white-space:pre-wrap;font-family:arial;line-height:1.7">” in function </span><font face="arial"><span style="white-space:pre-wrap">gf_store_handle_new.</span></font></div><div><font face="arial"><span style="white-space:pre-wrap">And the info file is empty before rename.</span></font></div><div><font face="arial"><span style="white-space:pre-wrap">So the info file is empty if glusterd shutdown before rename.</span></font><br>&nbsp;<br></div></div></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="line-height:1.7;color:rgb(0,0,0);font-size:14px;font-family:arial"><div><font face="arial"><span style="white-space:pre-wrap"><br></span></font></div><div><font face="arial"><span style="white-space:pre-wrap">My question is following.</span></font></div><div><span style="font-family:arial;line-height:23.8px;white-space:pre-wrap">1.I did not find the point the info is removed.Could you tell me the point where the info and </span><span style="line-height:23.8px">/bricks/* are removed?</span></div><div><font face="arial"><span style="white-space:pre-wrap">2.why the file info and bricks/* is removed?But other files in </span></font><span style="line-height:23.8px">var/lib/glusterd/vols/xxx/ are not be removed?</span></div></div></blockquote><div><br>AFAIK, we never delete the info file and hence this file is opened with 
O_APPEND flag. As I said I will go back and cross check the code once 
again.<br><br><br><br> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="line-height:1.7;color:rgb(0,0,0);font-size:14px;font-family:arial"><div><br></div><div><font face="arial"><span style="white-space:pre-wrap">Thanks,</span></font></div><div><font face="arial"><span style="white-space:pre-wrap">Xin</span></font></div><div><div class="gmail-h5"><div><font face="arial"><span style="white-space:pre-wrap"><br></span></font></div><div></div><div id="gmail-m_-7426951264015316438divNeteaseMailCard"></div><br>在 2016-11-11 20:34:05,"Atin Mukherjee" &lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt; 写道:<br> <blockquote id="gmail-m_-7426951264015316438isReplyContent" style="padding-left:1ex;margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204)"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Nov 11, 2016 at 4:00 PM, songxin <span dir="ltr">&lt;<a href="mailto:songxin_1980@126.com" target="_blank">songxin_1980@126.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="line-height:1.7;color:rgb(0,0,0);font-size:14px;font-family:arial"><span style="line-height:23.8px">Hi&nbsp;</span><span style="line-height:23.8px;font-family:arial">Atin,</span><br><div style="line-height:23.8px"><br></div><div style="line-height:23.8px">Thank you for your support.</div><div style="line-height:23.8px">Sincerely wait for your reply.</div><div style="line-height:23.8px"><br></div><div style="line-height:23.8px">By the way, could you make sure that the issue, file info is empty, cause by rename is interrupted in kernel?</div></div></blockquote><div><br></div><div>As per my RCA on that bug, it looked to be.<br>&nbsp;<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="line-height:1.7;color:rgb(0,0,0);font-size:14px;font-family:arial"><br><div>Thanks,</div><div>Xin</div><div><div class="gmail-m_-7426951264015316438h5"><div></div><div id="gmail-m_-7426951264015316438m_4708060938337307358divNeteaseMailCard"></div><br>在 2016-11-11 15:49:02,"Atin Mukherjee" &lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt; 写道:<br> <blockquote id="gmail-m_-7426951264015316438m_4708060938337307358isReplyContent" style="padding-left:1ex;margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204)"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Nov 11, 2016 at 1:15 PM, songxin <span dir="ltr">&lt;<a href="mailto:songxin_1980@126.com" target="_blank">songxin_1980@126.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="line-height:1.7;color:rgb(0,0,0);font-size:14px;font-family:arial"><span><div>Hi&nbsp;<span style="font-family:arial;line-height:23.8px">Atin,</span></div><div><span style="font-family:arial;line-height:23.8px">Thank you for your reply.</span></div></span><div><span style="font-family:arial;line-height:23.8px">Actually it is very difficult to reproduce because I don't know when&nbsp;</span><span style="line-height:23.8px">there was an ongoing commit happening.</span><span style="line-height:23.8px">It is just a coincidence.</span></div><div><span style="line-height:23.8px">But I want to make sure the root cause.</span></div></div></blockquote><div><br></div><div>I'll give it a another try and see if this situation can be simulated/reproduced and will keep you posted.<br>&nbsp;<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="line-height:1.7;color:rgb(0,0,0);font-size:14px;font-family:arial"><div><span style="line-height:23.8px"><br></span></div><div>So I would be grateful if you could answer my questions below.</div><span><br><div style="font-family:arial;line-height:23.8px"><span style="white-space:pre-wrap;line-height:1.7">You said that "This issue is hit at part of the negative testing where while gluster volume set was executed at the same point of time glusterd in another instance was brought down. In the faulty node we could see /var/lib/glusterd/vols/&lt;volnam<wbr></wbr>e&gt;info file been empty whereas the info.tmp file has the correct contents." in comment</span><span style="white-space:pre-wrap;line-height:1.7">.</span></div><div style="font-family:arial;line-height:23.8px"><pre class="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137bz_comment_text gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137bz_wrap_comment_text" id="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137comment_text_9">I have two questions for you.

1.Could you reproduce this issue by gluster volume set glusterd which was brought down?
2.Could you be certain that this issue is cause by rename is interrupted in kernel?</pre><pre class="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137bz_comment_text gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137bz_wrap_comment_text" id="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137comment_text_9">In my case there are two files, info and 10.32.1.144.-opt-lvmdir-c2-bri<wbr></wbr>ck, are both empty.
But in my view only one rename can be running at the same time because of the big lock.
Why there are two files are empty?


Could rename("info.tmp", "info") and rename("xxx-brick.tmp", "xxx-brick") be running in two thread?</pre></div><div>Thanks,</div><div>Xin</div><br><div></div><div id="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467divNeteaseMailCard"></div><br></span><div><div class="gmail-m_-7426951264015316438m_4708060938337307358h5">在 2016-11-11 15:27:03,"Atin Mukherjee" &lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt; 写道:<br> <blockquote id="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467isReplyContent" style="padding-left:1ex;margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204)"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Nov 11, 2016 at 12:38 PM, songxin <span dir="ltr">&lt;<a href="mailto:songxin_1980@126.com" target="_blank">songxin_1980@126.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="line-height:1.7;color:rgb(0,0,0);font-size:14px;font-family:arial"><span class="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-"><br><div>Hi&nbsp;<span style="line-height:23.8px">Atin,</span></div><div><span style="line-height:23.8px">Thank you for your reply.</span></div><div><span style="line-height:23.8px"><br></span></div></span><div><span style="line-height:23.8px">As you said that the info file can only be changed in the&nbsp;</span><span style="line-height:23.8px">glusterd_store_volinfo() sequentially because of the big lock.</span></div><div><span style="line-height:23.8px"><br></span></div><div><span style="line-height:23.8px">I have found the similar issue as below that you mentioned.&nbsp;</span></div><div><a href="https://bugzilla.redhat.com/show_bug.cgi?id=1308487" target="_blank">https://bugzilla.redhat.com/sh<wbr></wbr>ow_bug.cgi?id=1308487</a></div></div></blockquote><div><br></div><div>Great, so this is what I was actually trying to refer in my first email that I saw a similar issue. Have you got a chance to look at <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1308487#c4" target="_blank">https://bugzilla.redhat.com/sh<wbr></wbr>ow_bug.cgi?id=1308487#c4</a> ? But in your case, did you try to bring down glusterd when there was an ongoing commit happening?<br>&nbsp; <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="line-height:1.7;color:rgb(0,0,0);font-size:14px;font-family:arial"><div> </div><div><span style="font-family:arial;white-space:pre-wrap;line-height:1.7"><br></span></div><div><span style="font-family:arial;white-space:pre-wrap;line-height:1.7">You said that "This issue is hit at part of the negative testing where while gluster volume set was executed at the same point of time glusterd in another instance was brought down. In the faulty node we could see /var/lib/glusterd/vols/&lt;volnam<wbr></wbr>e&gt;info file been empty whereas the info.tmp file has the correct contents." in comment</span><span style="font-family:arial;white-space:pre-wrap;line-height:1.7">.</span></div><div><pre class="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137bz_comment_text gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137bz_wrap_comment_text" id="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137comment_text_9">I have two questions for you.

1.Could you reproduce this issue by gluster volume set glusterd which was brought down?
2.Could you be certain that this issue is cause by rename is interrupted in kernel?</pre><pre class="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137bz_comment_text gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137bz_wrap_comment_text" id="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137comment_text_9">In my case there are two files, info and 10.32.1.144.-opt-lvmdir-c2-bri<wbr></wbr>ck, are both empty.
But in my view only one rename can be running at the same time because of the big lock.
Why there are two files are empty?


Could rename("info.tmp", "info") and rename("xxx-brick.tmp", "xxx-brick") be running in two thread?

Thanks,
Xin</pre></div><div><div class="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-h5"><br><br><div></div><div id="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137divNeteaseMailCard"></div><br>在 2016-11-11 14:36:40,"Atin Mukherjee" &lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt; 写道:<br> <blockquote id="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137isReplyContent" style="padding-left:1ex;margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204)"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Nov 11, 2016 at 8:33 AM, songxin <span dir="ltr">&lt;<a href="mailto:songxin_1980@126.com" target="_blank">songxin_1980@126.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="line-height:1.7;color:rgb(0,0,0);font-size:14px;font-family:arial"><div>Hi Atin,</div><div><br></div><div>Thank you for your reply.</div><div>I have two questions for you.</div><div><br></div><div>1.Are the two files info and info.tmp are only to be created or changed in function glusterd_store_volinfo()? I did not find other point in which the two file are changed.</div></div></blockquote><div><br></div><div>If we are talking about info file volume then yes, the mentioned function actually takes care of it.<br>&nbsp;<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="line-height:1.7;color:rgb(0,0,0);font-size:14px;font-family:arial"><div>2.I found that&nbsp;<span style="line-height:23.8px">glusterd_store_volinfo() will be call in many point by glusterd.Is there a problem of thread synchronization?If so, one thread may open a same file info.tmp using&nbsp;</span><span style="color:rgb(128,0,128);font-family:微软雅黑,&quot;microsoft yahei&quot;,arial,helvetica,sans-serif;line-height:22.4px;background-color:rgb(238,238,238)">O_TRUNC </span><span style="line-height:23.8px">flag when another thread is writing the info,tmp.Could this case happen?</span></div></div></blockquote><div><br></div><div>&nbsp;In glusterd threads are big lock protected and I don't see a possibility (theoretically) to have two glusterd_store_volinfo () calls at a given point of time.<br>&nbsp;<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="line-height:1.7;color:rgb(0,0,0);font-size:14px;font-family:arial"><br><div>Thanks,</div><div>Xin</div><div><div class="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137m_3281658264091363472h5"><br><div></div><div id="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137m_3281658264091363472m_-3349385561517349848divNeteaseMailCard"></div><br>At 2016-11-10 21:41:06, "Atin Mukherjee" &lt;<a href="mailto:amukherj@redhat.com" target="_blank">amukherj@redhat.com</a>&gt; wrote:<br> <blockquote id="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137m_3281658264091363472m_-3349385561517349848isReplyContent" style="padding-left:1ex;margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204)"><div dir="ltr">Did you run out of disk space by any chance? AFAIK, the code is like we write new stuffs to .tmp file and rename it back to the original file. In case of a disk space issue I expect both the files to be of non zero size. But having said that I vaguely remember a similar issue (in the form of a bug or an email) landed up once but we couldn't reproduce it, so something is wrong with the atomic update here is what I guess. I'll be glad if you have a reproducer for the same and then we can dig into it further.<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Nov 10, 2016 at 1:32 PM, songxin <span dir="ltr">&lt;<a href="mailto:songxin_1980@126.com" target="_blank">songxin_1980@126.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="line-height:1.7;color:rgb(0,0,0);font-size:14px;font-family:arial"><div>Hi,</div><div>When I start the glusterd some error happened.</div><div>And the log is following.</div><div><br style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px">[2016-11-08 07:58:34.989365] I [MSGID: 100030] [glusterfsd.c:2318:main] 0-/usr/sbin/glusterd: Started running /usr/sbin/glusterd version 3.7.6 (args: /usr/sbin/glusterd -p /var/run/glusterd.pid --log-level INFO)&nbsp;</span><br style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px">[2016-11-08 07:58:34.998356] I [MSGID: 106478] [glusterd.c:1350:init] 0-management: Maximum allowed open file descriptors set to 65536&nbsp;</span><br style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px">[2016-11-08 07:58:35.000667] I [MSGID: 106479] [glusterd.c:1399:init] 0-management: Using /system/glusterd as working directory</span><br style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px">[2016-11-08 07:58:35.024508] I [MSGID: 106514] [glusterd-store.c:2075:gluster<wbr></wbr>d_restore_op_version] 0-management: Upgrade detected. Setting op-version to minimum : 1&nbsp;</span><br style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><b>[2016-11-08 07:58:35.025356] E [MSGID: 106206] [glusterd-store.c:2562:gluster<wbr></wbr>d_store_update_volinfo] 0-management: Failed to get next store iter&nbsp;</b></span><br style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><b>[2016-11-08 07:58:35.025401] E [MSGID: 106207] [glusterd-store.c:2844:gluster<wbr></wbr>d_store_retrieve_volume] 0-management: Failed to update volinfo for c_glusterfs volume&nbsp;</b></span><br style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><b>[2016-11-08 07:58:35.025463] E [MSGID: 106201] [glusterd-store.c:3042:gluster<wbr></wbr>d_store_retrieve_volumes] 0-management: Unable to restore volume: c_glusterfs&nbsp;</b></span><br style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><b>[2016-11-08 07:58:35.025544] E [MSGID: 101019] [xlator.c:428:xlator_init] 0-management: Initialization of volume 'management' failed, review your volfile again&nbsp;</b></span><br style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><b>[2016-11-08 07:58:35.025582] E [graph.c:322:glusterfs_graph_i<wbr></wbr>nit] 0-management: initializing translator failed&nbsp;</b></span><br style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><b>[2016-11-08 07:58:35.025629] E [graph.c:661:glusterfs_graph_a<wbr></wbr>ctivate] 0-graph: init failed&nbsp;</b></span><br style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px">[2016-11-08 07:58:35.026109] W [glusterfsd.c:1236:cleanup_and<wbr></wbr>_exit] (--&gt;/usr/sbin/glusterd(gluster<wbr></wbr>fs_volumes_init-0x1b260) [0x1000a718] --&gt;/usr/sbin/glusterd(glusterf<wbr></wbr>s_process_volfp-0x1b3b8) [0x1000a5a8] --&gt;/usr/sbin/glusterd(cleanup_<wbr></wbr>and_exit-0x1c02c) [0x100098bc] ) 0-: received signum (0), shutting down&nbsp;</span></div><div><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><br></span></div><div><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><br></span></div><div><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px">And then I found that the size of vols/volume_name/info is 0.It cause glusterd shutdown.</span></div><div><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px">But I found that vols/volume_name_info.tmp is not 0.</span></div><div><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px">And I found that there is a brick file&nbsp;</span><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px">vols/volume_name/bricks/x<wbr></wbr>xxx.brick is 0, but&nbsp;</span><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px">vols/volume_name/bricks/xx<wbr></wbr>xx.brick.tmp is not 0.</span></div><div><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px"><br></span></div><div><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px">I read the function code&nbsp;</span><font color="#333333" face="Arial, sans-serif"><span style="line-height:20px">glusterd_store_volinfo ()</span></font><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px">&nbsp;in glusterd-store.c .</span></div><div><span style="color:rgb(51,51,51);font-family:arial,sans-serif;line-height:20px">I know that the info.tmp will be rename to info in function&nbsp;</span><font color="#333333" face="Arial, sans-serif"><span style="line-height:20px">glusterd_store_volume<wbr></wbr>_atomic_update().</span></font></div><div><font color="#333333" face="Arial, sans-serif"><span style="line-height:20px"><br></span></font></div><div><font color="#333333" face="Arial, sans-serif"><span style="line-height:20px">But my question is that why the info file is 0 but info.tmp is not 0.</span></font></div><div><br></div><div><br></div><div>Thanks,</div><div>Xin</div></div><br><br><span title="neteasefooter"><p>&nbsp;</p></span><br>______________________________<wbr></wbr>_________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/mailman<wbr></wbr>/listinfo/gluster-users</a><br></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137m_3281658264091363472m_-3349385561517349848gmail_signature"><div dir="ltr"><div><div dir="ltr"><br></div><div>~ Atin (atinm)<br></div></div></div></div>
</div>
</blockquote></div></div></div><br><br><span title="neteasefooter"><p>&nbsp;</p></span></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail-m_-2053880103813163137m_3281658264091363472gmail_signature"><div dir="ltr"><div><div dir="ltr"><br></div><div>~ Atin (atinm)<br></div></div></div></div>
</div></div>
</blockquote></div></div></div><br><br><span title="neteasefooter"><p>&nbsp;</p></span></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail-m_-7426951264015316438m_4708060938337307358m_1097009954043043467gmail_signature"><div dir="ltr"><div><div dir="ltr"><br></div><div>~ Atin (atinm)<br></div></div></div></div>
</div></div>
</blockquote></div></div></div><br><br><span title="neteasefooter"><p>&nbsp;</p></span></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail-m_-7426951264015316438m_4708060938337307358gmail_signature"><div dir="ltr"><div><div dir="ltr"><br></div><div>~ Atin (atinm)<br></div></div></div></div>
</div></div>
</blockquote></div></div></div><br><br><span title="neteasefooter"><p>&nbsp;</p></span></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail-m_-7426951264015316438gmail_signature"><div dir="ltr"><div><div dir="ltr"><br></div><div>~ Atin (atinm)<br></div></div></div></div>
</div></div>
</blockquote></div></div></div><br><br><span title="neteasefooter"><p>&nbsp;</p></span></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><br></div><div>~ Atin (atinm)<br></div></div></div></div>
</div></div>
</blockquote></div><br><br><span title="neteasefooter"><p>&nbsp;</p></span>