<div dir="ltr">Any comments before I merge the patch <a href="http://review.gluster.org/#/c/13393/">http://review.gluster.org/#/c/13393/</a> ?</div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Feb 8, 2016 at 3:15 PM, Raghavendra Talur <span dir="ltr">&lt;<a href="mailto:rtalur@redhat.com" target="_blank">rtalur@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span class="">On Tue, Jan 19, 2016 at 8:33 PM, Emmanuel Dreyfus <span dir="ltr">&lt;<a href="mailto:manu@netbsd.org" target="_blank">manu@netbsd.org</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><span>On Tue, Jan 19, 2016 at 07:08:03PM +0530, Raghavendra Talur wrote:<br>
&gt; a. Allowing re-running to tests to make them pass leads to complacency with<br>
&gt; how tests are written.<br>
&gt; b. A test is bad if it is not deterministic and running a bad test has *no*<br>
&gt; value. We are wasting time even if the test runs for a few seconds.<br>
<br>
</span>I agree with your vision for the long term, but my proposal address the<br>
short term situation. But we could use the retry approahc to fuel your<br>
blacklist approach:<br>
<br>
We could immagine a system where the retry feature would cast votes on<br>
individual tests: each time we fail once and succeed on retry, cast<br>
a +1 unreliable for the test.<br>
<br>
After a few days, we will have a wall of shame for unreliable tests,<br>
which could either be fixed or go to the blacklist.<br>
<br>
I do not know what software to use to collect and display the results,<br>
though. Should we have a gerrit change for each test?<br></blockquote><div><br></div></span><div>This should be the process of adding tests to bad tests list. However, I have run out of time on this one.</div><div>If someone would like to implement go ahead. I don&#39;t see myself trying this any soon.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<span><font color="#888888"><br>
--<br>
Emmanuel Dreyfus<br>
<a href="mailto:manu@netbsd.org" target="_blank">manu@netbsd.org</a></font></span></blockquote><div><br></div><div><br></div><div>Thanks for the inputs.</div><div><br></div><div>I have refactored run-tests.sh to use retry option.</div><div>If run-tests.sh is started with -r flag, failed tests would be run once again and won&#39;t be considered as failed if they pass. Note: Adding -r flag to jenkins config is not done yet.</div><div><br></div><div>I have also implemented a better version of blacklist which complies with requirements from Manu on granularity of bad tests to be OS.</div><div>Here is the patch: <a href="http://review.gluster.org/#/c/13393/" target="_blank">http://review.gluster.org/#/c/13393/</a> </div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div> </div></div><br></div></div>
</blockquote></div><br></div>