<html><body><div style="color:#000; background-color:#fff; font-family:HelveticaNeue, Helvetica Neue, Helvetica, Arial, Lucida Grande, sans-serif;font-size:16px"><div id="yui_3_16_0_1_1424779996427_32130">Hi,</div><div id="yui_3_16_0_1_1424779996427_32129"><br></div><div dir="ltr" id="yui_3_16_0_1_1424779996427_32128">I have a 03 nodes setup (Centos7x64 latest updates, glusterfs 3.6.1 latest updates).</div><div dir="ltr"><br></div><div id="yui_3_16_0_1_1424779996427_32172" dir="ltr">Master: 02 nodes&nbsp; (g1 and g2)  are on replicated mode with 02 volumes data1 and data2, each volume is constituted of one brick.</div><div id="yui_3_16_0_1_1424779996427_32257" dir="ltr">Slave: the 3rd node (g3) is for Geo-Rep with also 2 volumes slavedata1 and slavedata2</div><div id="yui_3_16_0_1_1424779996427_32258" dir="ltr">I am using the geo-rep with a user geoaccount1 and group geogroup1.</div><div id="yui_3_16_0_1_1424779996427_32225" dir="ltr"><br></div><div id="yui_3_16_0_1_1424779996427_32224" dir="ltr">the setup was successfully made and geo-rep started. <br></div><div id="yui_3_16_0_1_1424779996427_32223" dir="ltr"><br></div><div id="yui_3_16_0_1_1424779996427_32237" dir="ltr">Problems:</div><div id="yui_3_16_0_1_1424779996427_32259" dir="ltr">- After some days, I've found the geo-rep in a faulty state, the reason /var was full in g1 and g3 the slave node.</div><div id="yui_3_16_0_1_1424779996427_32304" dir="ltr">the ssh log file for geo-replication-slave on g3 was full with (11Go):</div><div id="yui_3_16_0_1_1424779996427_32305" dir="ltr"><br></div><div id="yui_3_16_0_1_1424779996427_32584" dir="ltr"><i id="yui_3_16_0_1_1424779996427_32589">[2015-02-24 11:29:26.526285] W [client-rpc-fops.c:172:client3_3_symlink_cbk] 0-slavedata2-client-0: remote operation failed: File exists. Path: (&lt;gfid:ce5d8b13-1961-4126-93e8-e4ee2fd6b34d&gt;/S15bind9 to ../init.d/bind9)<br style="" class="">[2015-02-24 11:29:26.526297] W [fuse-bridge.c:1261:fuse_err_cbk] 0-glusterfs-fuse: 1100: SETXATTR() /.gfid/ce5d8b13-1961-4126-93e8-e4ee2fd6b34d =&gt; -1 (File exists)<br style="" class="">[2015-02-24 11:29:26.526602] W [client-rpc-fops.c:172:client3_3_symlink_cbk] 0-slavedata2-client-0: remote operation failed: File exists. Path: (&lt;gfid:ce5d8b13-1961-4126-93e8-e4ee2fd6b34d&gt;/S20modules_dep.sh to ../init.d/modules_dep.sh)<br style="" class="">[2015-02-24 11:29:26.526618] W [fuse-bridge.c:1261:fuse_err_cbk] 0-glusterfs-fuse: 1101: SETXATTR() /.gfid/ce5d8b13-1961-4126-93e8-e4ee2fd6b34d =&gt; -1 (File exists)</i></div><div id="yui_3_16_0_1_1424779996427_32370" dir="ltr"><br></div><div id="yui_3_16_0_1_1424779996427_32407" dir="ltr">I emptied the log files on both servers, then I modified the logrotate conf file for geo-repl on all nodes from <i>rotate 52</i> to <br></div><div id="yui_3_16_0_1_1424779996427_32644" dir="ltr"><i>rotate 7<br></i></div><div id="yui_3_16_0_1_1424779996427_32408" dir="ltr"><i>size 50M</i></div><div id="yui_3_16_0_1_1424779996427_32409" dir="ltr"><br></div><div id="yui_3_16_0_1_1424779996427_32410" dir="ltr">Does geo-rep produce such big logs?<br></div><div id="yui_3_16_0_1_1424779996427_32758" dir="ltr"><br></div><div id="yui_3_16_0_1_1424779996427_32759" dir="ltr">the modifications worked for g1 and g2, but I had a problem with g3</div><div id="yui_3_16_0_1_1424779996427_32411" dir="ltr"><i id="yui_3_16_0_1_1424779996427_32593">[root@glustersrv3 logrotate.d]# logrotate -f /etc/logrotate.d/glusterfs-georep<br style="" class="">error: skipping "/var/log/glusterfs/geo-replication-slaves/967ddac3-af34-4c70-8d2b-eb201ebb645d:gluster%3A%2F%2F127.0.0.1%3Aslavedata1.gluster.log" because parent directory has insecure permissions (It's world writable or writable by group which is not "root") Set "su" directive in config file to tell logrotate which user/group should be used for rotation</i></div><div id="yui_3_16_0_1_1424779996427_32604" dir="ltr"><br></div><div id="yui_3_16_0_1_1424779996427_32605" dir="ltr">So I added these two lines to the <i style="" class="" id="yui_3_16_0_1_1424779996427_32593">/etc/logrotate.d/glusterfs-georep</i></div><div id="yui_3_16_0_1_1424779996427_32628" dir="ltr"><i style="" class="" id="yui_3_16_0_1_1424779996427_32593">su root geogroup1</i></div><div id="yui_3_16_0_1_1424779996427_32667" dir="ltr"><i style="" class="" id="yui_3_16_0_1_1424779996427_32593"><br></i></div><div id="yui_3_16_0_1_1424779996427_32668" dir="ltr"><i style="" class="" id="yui_3_16_0_1_1424779996427_32593"> </i><span class="" style="">A</span><span id="yui_3_16_0_1_1424779996427_32710" class="" style="">nd now it seems working, is that correct?</span></div><div id="yui_3_16_0_1_1424779996427_32746" dir="ltr"><br><span class="" style=""></span></div><div id="yui_3_16_0_1_1424779996427_32716" dir="ltr"><span id="yui_3_16_0_1_1424779996427_32717" class="" style="">After cleaning up the logs, I've tried to restart the geo-rep but didn't succeed: no active session between g1 and g3 erro, so I had to restart the glusterfs daemon on all three nodes.</span></div><div id="yui_3_16_0_1_1424779996427_32790" dir="ltr"><span id="yui_3_16_0_1_1424779996427_32717" class="" style=""><br></span></div><div id="yui_3_16_0_1_1424779996427_32791" dir="ltr"><span id="yui_3_16_0_1_1424779996427_32717" class="" style="">After the geo-rep was restarted and the its state became stable, I did a geo-rep status detail and I got this</span></div><div id="yui_3_16_0_1_1424779996427_33133" dir="ltr"><br><span id="yui_3_16_0_1_1424779996427_32717" class="" style=""></span></div><div id="yui_3_16_0_1_1424779996427_32845" dir="ltr"><span id="yui_3_16_0_1_1424779996427_32717" class="" style="">[root@glustersrv1 ~]# gluster volume geo-replication data1&nbsp; geoaccount1@gserver3.domain.tld::slavedata1 status detail<br style="" class=""><br style="" class="">MASTER NODE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; MASTER VOL&nbsp;&nbsp;&nbsp; MASTER BRICK&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; SLAVE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; STATUS&nbsp;&nbsp;&nbsp;&nbsp; CHECKPOINT STATUS&nbsp;&nbsp;&nbsp; CRAWL STATUS&nbsp;&nbsp;&nbsp; FILES SYNCD&nbsp;&nbsp;&nbsp; FILES PENDING&nbsp;&nbsp;&nbsp; BYTES PENDING&nbsp;&nbsp;&nbsp; DELETES PENDING&nbsp;&nbsp;&nbsp; FILES SKIPPED<br style="" class="">-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------<br style="" class="">glustersrv1.domain.tld&nbsp;&nbsp;&nbsp; data1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /mnt/brick1/brick&nbsp;&nbsp;&nbsp; gserver3.domain.tld::slavedata1&nbsp;&nbsp;&nbsp; Active&nbsp;&nbsp;&nbsp;&nbsp; N/A&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Hybrid Crawl&nbsp;&nbsp;&nbsp; 25784&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8191&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br style="" class="">glustersrv2.domain.tld&nbsp;&nbsp;&nbsp; data1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /mnt/brick1/brick&nbsp;&nbsp;&nbsp; gserver3.domain.tld::slavedata1&nbsp;&nbsp;&nbsp; Passive&nbsp;&nbsp;&nbsp; N/A&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; N/A&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br style="" class="">[root@glustersrv1 ~]# gluster volume geo-replication data2&nbsp; geoaccount1@gserver3.domain.tld::slavedata2 status detail<br style="" class=""><br style="" class="">MASTER NODE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; MASTER VOL&nbsp;&nbsp;&nbsp; MASTER BRICK&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; SLAVE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; STATUS&nbsp;&nbsp;&nbsp;&nbsp; CHECKPOINT STATUS&nbsp;&nbsp;&nbsp; CRAWL STATUS&nbsp;&nbsp;&nbsp; FILES SYNCD&nbsp;&nbsp;&nbsp; FILES PENDING&nbsp;&nbsp;&nbsp; BYTES PENDING&nbsp;&nbsp;&nbsp; DELETES PENDING&nbsp;&nbsp;&nbsp; FILES SKIPPED<br style="" class="">-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------<br style="" class="">glustersrv1.domain.tld&nbsp;&nbsp;&nbsp; data2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /mnt/brick2/brick&nbsp;&nbsp;&nbsp; gserver3.domain.tld::slavedata2&nbsp;&nbsp;&nbsp; Active&nbsp;&nbsp;&nbsp;&nbsp; N/A&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Hybrid Crawl&nbsp;&nbsp;&nbsp; 11768408&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8191&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3833<br style="" class="">glustersrv2.domain.tld&nbsp;&nbsp;&nbsp; data2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /mnt/brick2/brick&nbsp;&nbsp;&nbsp; gserver3.domain.tld::slavedata2&nbsp;&nbsp;&nbsp; Passive&nbsp;&nbsp;&nbsp; N/A&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; N/A&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0</span></div><div id="yui_3_16_0_1_1424779996427_32859" dir="ltr"><br><span id="yui_3_16_0_1_1424779996427_32717" class="" style=""></span></div><div id="yui_3_16_0_1_1424779996427_32858" dir="ltr"><span id="yui_3_16_0_1_1424779996427_32717" class="" style="">What does it mean&nbsp; </span><span id="yui_3_16_0_1_1424779996427_32717" class="" style="">FILES PENDING? because this number didn't change after 1hour from restarting the geo-rep, I thought that it will decrease over time but it didn't.</span></div><div id="yui_3_16_0_1_1424779996427_32990" dir="ltr">And what does mean <span id="yui_3_16_0_1_1424779996427_32717" class="" style="">FILES SKIPPED?</span></div><div id="yui_3_16_0_1_1424779996427_33020" dir="ltr"><span id="yui_3_16_0_1_1424779996427_32717" class="" style=""></span><br><span id="yui_3_16_0_1_1424779996427_32717" class="" style=""></span></div><div id="yui_3_16_0_1_1424779996427_32991" dir="ltr"><span id="yui_3_16_0_1_1424779996427_32717" class="" style="">I tried another thing, I stopped the geo-rep, stopped the volumes on g3 then deleted them.</span></div><div id="yui_3_16_0_1_1424779996427_32992" dir="ltr"><span id="yui_3_16_0_1_1424779996427_32717" class="" style="">then I cleaned up the .glusterfs directory on both bricks and deleted all the glusterfs attributes on them with setfattr command, but I did not delete my data (files and directories).</span></div><div id="yui_3_16_0_1_1424779996427_32993" dir="ltr"><br><span id="yui_3_16_0_1_1424779996427_32717" class="" style=""></span></div><div id="yui_3_16_0_1_1424779996427_32994" dir="ltr"><span id="yui_3_16_0_1_1424779996427_32717" class="" style="">then I recreated the slave volumes, started them and finally restarted the geo-rep, after the initialization and stabilization I got the same result from status command on geo-rep, the same values on </span><span id="yui_3_16_0_1_1424779996427_32717" class="" style="">FILES PENDING and </span><span id="yui_3_16_0_1_1424779996427_32717" class="" style="">FILES SKIPPED</span></div><div id="yui_3_16_0_1_1424779996427_33214" dir="ltr"><br><span id="yui_3_16_0_1_1424779996427_32717" class="" style=""></span></div><div id="yui_3_16_0_1_1424779996427_33215" dir="ltr"><span id="yui_3_16_0_1_1424779996427_32717" class="" style="">is that ok? how can I be sure that I have all my data on g3?<br></span></div><div id="yui_3_16_0_1_1424779996427_33154" dir="ltr"><br><span id="yui_3_16_0_1_1424779996427_32717" class="" style=""></span></div><div id="yui_3_16_0_1_1424779996427_33155" dir="ltr"><span id="yui_3_16_0_1_1424779996427_32717" class="" style="">thanks in advance<br></span></div><div id="yui_3_16_0_1_1424779996427_32820" dir="ltr"><br><span id="yui_3_16_0_1_1424779996427_32717" class="" style=""></span></div><div id="yui_3_16_0_1_1424779996427_32821" dir="ltr"><br><span id="yui_3_16_0_1_1424779996427_32717" class="" style=""></span></div><div id="yui_3_16_0_1_1424779996427_32822" dir="ltr"><br><span id="yui_3_16_0_1_1424779996427_32717" class="" style=""></span></div><div id="yui_3_16_0_1_1424779996427_32841" dir="ltr"><span id="yui_3_16_0_1_1424779996427_32717" class="" style=""><br></span></div><div id="yui_3_16_0_1_1424779996427_32857" dir="ltr"><span id="yui_3_16_0_1_1424779996427_32717" class="" style=""><br></span></div><div id="yui_3_16_0_1_1424779996427_32427" dir="ltr"><br></div><div id="yui_3_16_0_1_1424779996427_32429" dir="ltr"><br></div><div id="yui_3_16_0_1_1424779996427_32430" dir="ltr"><br></div><div id="yui_3_16_0_1_1424779996427_32373" dir="ltr"><br></div><div id="yui_3_16_0_1_1424779996427_32127"><br></div></div></body></html>