<div dir="ltr"><div><div><div><div><div>Hello Soumya,<br></div>Thanks for answering my questions.<br></div><div>Question 1) I am still puzzled what VOL is still referring to. Is that a variable/parameter that i can specify somewhere in the  ganesha-ha.conf?<br></div><div>Any pointers will be very much appreciated.<br></div><div><br></div>1) Those 3 test systems do not have firewalld running and SELinux running. And i also verify corosync.conf is now empty.<br># sestatus<br>SELinux status:                 disabled<br><br># firewall-cmd --zone=public --list-all<br>FirewallD is not running<br><br># ls -al /etc/corosync/corosync.conf<br>-rw-r--r-- 1 root root 0 Mar 20 12:54 /etc/corosync/corosync.conf<br><br></div>2) I also do not find pacemaker.log under /var/log, but i found the following. Will these be the same:<br># ls -al /var/log/pcsd/pcsd.log<br>-rw-r--r--. 1 root root 162322 Mar 20 13:26 /var/log/pcsd/pcsd.log<br><br></div>In any case, that log is full of the following:<br>+++<br>I, [2016-03-20T13:33:34.982311 #939]  INFO -- : Running: /usr/sbin/corosync-cmapctl totem.cluster_name<br>I, [2016-03-20T13:33:34.982459 #939]  INFO -- : CIB USER: hacluster, groups: <br>I, [2016-03-20T13:33:34.985984 #939]  INFO -- : Return Value: 1<br>+++<br><br></div>3) /var/log/messages - it does not look ganesha passing the logs to this file. But i see /var/log/ganesha.log  - which i found out logging seem to be sent to there from /etc/sysconfig/ganesha (OPTIONS=&quot;-L /var/log/ganesha.log -f /etc/ganesha/ganesha.conf -N NIV_FULL_DEBUG&quot;&quot;<br><div><div><div><div><br></div><div>After it failed to acquire the volume, the server will be filled with the following in &quot;ganesha.log&quot;, but the other 2 nodes in the cluster do not have anything logged in ganesha.log.  The other nodes have &quot;E [MSGID: 106062] [glusterd-op-sm.c:3728:glusterd_op_ac_unlock] 0-management: Unable to acquire volname&quot; logged in the &quot;etc-glusterfs-glusterd.vol.log&quot;<br>+++<br>20/03/2016 13:37:32 : epoch 56ef059d : mlw-fusion1 : ganesha.nfsd-5215[dbus_heartbeat] gsh_dbus_thread :DBUS :F_DBG :top of poll loop<br>20/03/2016 13:37:32 : epoch 56ef059d : mlw-fusion1 : ganesha.nfsd-5215[dbus_heartbeat] gsh_dbus_thread :RW LOCK :F_DBG :Acquired mutex 0x7fd38e3fe080 (&amp;dbus_bcast_lock) at /builddir/build/BUILD/nfs-ganesha-2.3.0/src/dbus/dbus_server.c:689<br>20/03/2016 13:37:32 : epoch 56ef059d : mlw-fusion1 : ganesha.nfsd-5215[dbus_heartbeat] gsh_dbus_thread :RW LOCK :F_DBG :Released mutex 0x7fd38e3fe080 (&amp;dbus_bcast_lock) at /builddir/build/BUILD/nfs-ganesha-2.3.0/src/dbus/dbus_server.c:739<br>+++<br></div><div><div><div><div><div class="gmail_extra"><br></div><div class="gmail_extra">Testing Environment: Running CentOS Linux release 7.2.1511, glusterfs 3.7.8 (glusterfs-server-3.7.8-2.el7.x86_64), <span class="">nfs</span>-<span class="">ganesha</span>-gluster-2.3.0-1.el7.x86_64<br><br><br></div><div class="gmail_extra"><div class="gmail_quote">On Mon, Mar 14, 2016 at 2:05 AM, Soumya Koduri <span dir="ltr">&lt;<a href="mailto:skoduri@redhat.com" target="_blank">skoduri@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi,<div><div class="h5"><br>
<br>
On 03/14/2016 04:06 AM, ML Wong wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Running CentOS Linux release 7.2.1511, glusterfs 3.7.8<br>
(glusterfs-server-3.7.8-2.el7.x86_64),<br>
nfs-ganesha-gluster-2.3.0-1.el7.x86_64<br>
<br>
1) Ensured the connectivity between gluster nodes by using PING<br>
2) Disabled NetworkManager (Loaded: loaded<br>
(/usr/lib/systemd/system/NetworkManager.service; disabled)<br>
3) Gluster &#39;gluster_shared_storage&#39; is created by using (gluster volume<br>
set all cluster.enable-shared-storage enable), and are all mounted under<br>
/run/gluster/shared_storage, and nfs-ganesha directory is also created<br>
after the feature being enabled<br>
4) Emtpy out /etc/ganesha/ganesha.conf (have tested ganesha running as a<br>
stand-alone NFS server)<br>
5) Installed pacemaker, corosync, and resource-agents<br>
6) Reset &#39;hacluster&#39; system-user password to be the same:<br>
         # pcs cluster auth -u hacluster mlw-fusion1 mlw-fusion2 mlw-fusion3<br>
         Password:<br>
         mlw-fusion2: Authorized<br>
         mlw-fusion3: Authorized<br>
         mlw-fusion1: Authorized<br>
7) IPv6 is enabled - (IPV6INIT=yes in<br>
/etc/sysconfig/network-scripts/ifcfg-en*)<br>
8) Started pcsd, and corosync<br>
9) Created /var/lib/glusterd/nfs/secret.pem, and transfer to the other 2<br>
nodes<br>
         # ssh -i secret.pem root@mlw-fusion3 &quot;echo helloworld&quot;<br>
         helloworld<br>
9) Transfer the following ganesha-ha.conf to the other nodes in the<br>
cluster, but change the HA_VOL_SERVER value accordingly to mlw-fusion2,<br>
and mlw-fusion3<br>
<br>
HA_NAME=&quot;ganesha-ha-01&quot;<br>
HA_VOL_SERVER=&quot;mlw-fusion1&quot;<br>
HA_CLUSTER_NODES=&quot;mlw-fusion1,mlw-fusion2,mlw-fusion3&quot;<br>
VIP_mlw_fusion1=&quot;192.168.30.201&quot;<br>
VIP_mlw_fusion2=&quot;192.168.30.202&quot;<br>
VIP_mlw_fusion3=&quot;192.168.30.203&quot;<br>
<br>
Question 1) As i am new to nfs-ganesha, pacemaker, corosync, i was<br>
mostly puzzled by the error message found in the<br>
&#39;etc-glusterfs-glusterd.vol.log&#39;. It seems like it will show the below<br>
message regardless of what i have done to troubleshoot - So, what Volume<br>
does these error messages are referring to?<br>
</blockquote>
<br></div></div>
Just a guess. Since this option is not tied to any particular volume, it may have thrown (null) in the error message.  Could you check &#39;/var/log/messages&#39; and &#39;/var/log/pacemaker.log&#39; for the errors/warnings. Since they are running RHEL 7, please check if there are denials from selinux or firewalld.<span class=""><br>
<br>
Is that referring to the<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
HA_VOL_NAME in the /usr/libexec/ganesha/ganesha-ha.sh? Do I need to<br>
change any of the 4 HA_* variables inside ganesha-ha.sh?<br>
         HA_NUM_SERVERS=0<br>
         HA_SERVERS=&quot;&quot;<br>
         HA_CONFDIR=&quot;/etc/ganesha&quot;<br>
         HA_VOL_NAME=&quot;gluster_shared_storage&quot;<br>
         HA_VOL_MNT=&quot;/run/gluster/shared_storage&quot;<br>
</blockquote></span>
No. You need not change any of these variables.<span class=""><br>
<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
E [MSGID: 106123] [glusterd-syncop.c:1407:gd_commit_op_phase]<br>
0-management: Commit of operation &#39;Volume (null)&#39; failed on localhost :<br>
Failed to set up HA config for NFS-Ganesha. Please check the log file<br>
for details<br>
<br>
Question 2) do I really have to start corosync before enabling nfs-ganesha?<br>
</blockquote></span>
No. The setup automatically starts pacemaker and corosync services.<br>
<br>
Thanks,<br>
Soumya<br>
<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span class="">
<br>
Any help will be appreciated!!!<br>
<br>
<br></span>
_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="http://www.gluster.org/mailman/listinfo/gluster-users" rel="noreferrer" target="_blank">http://www.gluster.org/mailman/listinfo/gluster-users</a><br>
<br>
</blockquote>
</blockquote></div><br></div></div></div></div></div></div></div></div></div>