<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<!--[if !mso]><style>v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]--><style><!--
/* Font Definitions */
@font-face
        {font-family:Helvetica;
        panose-1:2 11 6 4 2 2 2 2 2 4;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
pre
        {mso-style-priority:99;
        mso-style-link:"HTML Preformatted Char";
        margin:0in;
        margin-bottom:.0001pt;
        font-size:10.0pt;
        font-family:"Courier New";}
p.MsoAcetate, li.MsoAcetate, div.MsoAcetate
        {mso-style-priority:99;
        mso-style-link:"Balloon Text Char";
        margin:0in;
        margin-bottom:.0001pt;
        font-size:8.0pt;
        font-family:"Tahoma","sans-serif";}
span.HTMLPreformattedChar
        {mso-style-name:"HTML Preformatted Char";
        mso-style-priority:99;
        mso-style-link:"HTML Preformatted";
        font-family:Consolas;}
span.BalloonTextChar
        {mso-style-name:"Balloon Text Char";
        mso-style-priority:99;
        mso-style-link:"Balloon Text";
        font-family:"Tahoma","sans-serif";}
span.EmailStyle21
        {mso-style-type:personal;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
span.EmailStyle22
        {mso-style-type:personal;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
span.EmailStyle23
        {mso-style-type:personal;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
span.EmailStyle24
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="color:#1F497D">Poornima,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Thanks for checking this. We are using disperse volumes. Unix domain sockets will be used for communication between libgfapi and the brick daemons on the local server. The communication to brick daemons
 on the other nodes of the volume would &nbsp;be through tcp/rdma. Is my assumption correct.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Thanks and Regards,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Ram<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<div>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;">From:</span></b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;"> Poornima Gurusiddaiah [mailto:pgurusid@redhat.com]
<br>
<b>Sent:</b> Wednesday, May 25, 2016 2:09 AM<br>
<b>To:</b> Ankireddypalle Reddy<br>
<b>Cc:</b> gluster-users@gluster.org<br>
<b>Subject:</b> Re: [Gluster-users] libgfapi using unix domain sockets<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<div>
<div>
<p class="MsoNormal"><span style="color:black">Hi,<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="color:black"><o:p>&nbsp;</o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="color:black">Whenever a new fd is created it is allocated from the mem-pool, if the mem pool is full it will be calloc'd. The current limit for fd-mem-pool is 1024, if there are more than 1024 fd's open, then the perf may be
 affected.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="color:black">Also, the unix socket used while glfs_set_volfile_server() is only for Vol file, i.e. only for the connection btw Client and glusterd (management deamon). Hence, you may not see the IO performance increase, the
 patch <a href="http://review.gluster.org/#/c/12709/">http://review.gluster.org/#/c/12709/</a> introduces unix socket domain for IO path. This is what you may be interested in i guess.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="color:black"><o:p>&nbsp;</o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="color:black">Regards,<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="color:black">Poornima<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="color:black"><o:p>&nbsp;</o:p></span></p>
</div>
<div class="MsoNormal" align="center" style="text-align:center"><span style="color:black">
<hr size="2" width="100%" align="center" id="zwchr">
</span></div>
<blockquote style="border:none;border-left:solid #1010FF 1.5pt;padding:0in 0in 0in 4.0pt;margin-left:3.75pt;margin-top:5.0pt;margin-bottom:5.0pt">
<p class="MsoNormal"><b><span style="font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;;color:black">From:
</span></b><span style="font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;;color:black">&quot;Ankireddypalle Reddy&quot; &lt;<a href="mailto:areddy@commvault.com">areddy@commvault.com</a>&gt;<br>
<b>To: </b><a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
<b>Sent: </b>Tuesday, May 24, 2016 9:16:31 PM<br>
<b>Subject: </b>Re: [Gluster-users] libgfapi using unix domain sockets<o:p></o:p></span></p>
<div>
<p class="MsoNormal"><span style="font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;;color:black"><o:p>&nbsp;</o:p></span></p>
</div>
<p class="MsoNormal"><span style="color:#1F497D">Is there any suggested best practice for the number of glfs_fd_t &nbsp;that can be associated with a glfs_t. Does having a single glfs_t in an application with large number of glfs_fd_t cause any resource contention
 issues.</span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">&nbsp;</span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Thanks and Regards,</span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Ram</span><span style="color:black"><o:p></o:p></span></p>
<div>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;;color:black">From:</span></b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;;color:black">
<a href="mailto:gluster-users-bounces@gluster.org">gluster-users-bounces@gluster.org</a> [<a href="mailto:gluster-users-bounces@gluster.org">mailto:gluster-users-bounces@gluster.org</a>]
<b>On Behalf Of </b>Ankireddypalle Reddy<br>
<b>Sent:</b> Tuesday, May 24, 2016 11:34 AM<br>
<b>To:</b> <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
<b>Subject:</b> Re: [Gluster-users] libgfapi using unix domain sockets</span><span style="color:black"><o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span style="color:black">&nbsp;<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">I figured it out. </span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">&nbsp;</span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Protocol: unix</span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Hostname: /var/run/glusterd.socket</span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Port: 0</span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">&nbsp;</span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Thanks and Regards,</span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Ram</span><span style="color:black"><o:p></o:p></span></p>
<div>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;;color:black">From:</span></b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;;color:black">
<a href="mailto:gluster-users-bounces@gluster.org" target="_blank">gluster-users-bounces@gluster.org</a> [<a href="mailto:gluster-users-bounces@gluster.org" target="_blank">mailto:gluster-users-bounces@gluster.org</a>]
<b>On Behalf Of </b>Ankireddypalle Reddy<br>
<b>Sent:</b> Tuesday, May 24, 2016 10:20 AM<br>
<b>To:</b> <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a><br>
<b>Subject:</b> [Gluster-users] libgfapi using unix domain sockets</span><span style="color:black"><o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span style="color:black">&nbsp;<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">Hi,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; I am trying to use libgfapi for connecting to a gluster &nbsp;volume using unix domain sockets. I am not able to find the socket path that should be provided while making the “glfs_set_volfile_server” function
 call.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">&nbsp;<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">ps -eaf | grep gluster<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">root&nbsp;&nbsp;&nbsp;&nbsp; 15178 31450&nbsp; 0 09:52 pts/1&nbsp;&nbsp;&nbsp; 00:00:00 grep --color=auto gluster<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">root&nbsp;&nbsp;&nbsp;&nbsp; 26739 26291&nbsp; 0 May16 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:01:52 /opt/commvault/Base/IndexingService -serviceName IndexingService_cleanup -cn glustervm6 cvshost:glustervm6*glustervm6 cvsport:58600:0 cvsmyplatform:2 cvsremoteplatform:4
 -vm Instance001<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">root&nbsp;&nbsp;&nbsp;&nbsp; 28335&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 0 May12 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:02:15 /usr/sbin/glusterd -p /var/run/glusterd.pid --log-level INFO<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">root&nbsp;&nbsp;&nbsp;&nbsp; 30047&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 0 May12 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:06:38 /usr/sbin/glusterfsd -s glustervm6sds --volfile-id StoragePool.glustervm6sds.ws-disk1-ws_brick -p /var/lib/glusterd/vols/StoragePool/run/glustervm6sds-ws-disk1-ws_brick.pid
 -S /var/run/gluster/9ed1d13b4265b95be4ed642578e7f28b.socket --brick-name /ws/disk1/ws_brick -l /var/log/glusterfs/bricks/ws-disk1-ws_brick.log --xlator-option *-posix.glusterd-uuid=3ab81d79-9a99-4822-abb2-62e76a029240 --brick-port 49152 --xlator-option StoragePool-server.listen-port=49152<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">root&nbsp;&nbsp;&nbsp;&nbsp; 30066&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 0 May12 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:13:58 /usr/sbin/glusterfsd -s glustervm6sds --volfile-id StoragePool.glustervm6sds.ws-disk2-ws_brick -p /var/lib/glusterd/vols/StoragePool/run/glustervm6sds-ws-disk2-ws_brick.pid
 -S /var/run/gluster/be6fc96032a95d6bf00d41049ca0356a.socket --brick-name /ws/disk2/ws_brick -l /var/log/glusterfs/bricks/ws-disk2-ws_brick.log --xlator-option *-posix.glusterd-uuid=3ab81d79-9a99-4822-abb2-62e76a029240 --brick-port 49153 --xlator-option StoragePool-server.listen-port=49153<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">root&nbsp;&nbsp;&nbsp;&nbsp; 30088&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 0 May12 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:21 /usr/sbin/glusterfs -s localhost --volfile-id gluster/nfs -p /var/lib/glusterd/nfs/run/nfs.pid -l /var/log/glusterfs/nfs.log -S /var/run/gluster/93db4047a97542a6457b2178ce6512d7.socket<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">root&nbsp;&nbsp;&nbsp;&nbsp; 30093&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 0 May12 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:10:24 /usr/sbin/glusterfs -s localhost --volfile-id gluster/glustershd -p /var/lib/glusterd/glustershd/run/glustershd.pid -l /var/log/glusterfs/glustershd.log -S /var/run/gluster/3d435606821403370720761863000928.socket
 --xlator-option *replicate*.node-uuid=3ab81d79-9a99-4822-abb2-62e76a029240<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">root&nbsp;&nbsp;&nbsp;&nbsp; 30186&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 0 May12 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:31 /usr/sbin/glusterfs --volfile-server=glustervm6sds --volfile-id=/StoragePool /ws/glus<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">&nbsp;<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">Thanks and Regards,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:black">Ram<o:p></o:p></span></p>
<pre><span style="color:black">&nbsp;<o:p></o:p></span></pre>
<pre><span style="color:black">&nbsp;<o:p></o:p></span></pre>
<pre><span style="color:black">***************************Legal Disclaimer***************************<o:p></o:p></span></pre>
<pre><span style="color:black">&quot;This communication may contain confidential and privileged material for the<o:p></o:p></span></pre>
<pre><span style="color:black">sole use of the intended recipient. Any unauthorized review, use or distribution<o:p></o:p></span></pre>
<pre><span style="color:black">by others is strictly prohibited. If you have received the message by mistake,<o:p></o:p></span></pre>
<pre><span style="color:black">please advise the sender by reply email and delete the message. Thank you.&quot;<o:p></o:p></span></pre>
<pre><span style="color:black">**********************************************************************<o:p></o:p></span></pre>
<pre><span style="color:black">&nbsp;<o:p></o:p></span></pre>
<pre><span style="color:black">&nbsp;<o:p></o:p></span></pre>
<pre><span style="color:black">***************************Legal Disclaimer***************************<o:p></o:p></span></pre>
<pre><span style="color:black">&quot;This communication may contain confidential and privileged material for the<o:p></o:p></span></pre>
<pre><span style="color:black">sole use of the intended recipient. Any unauthorized review, use or distribution<o:p></o:p></span></pre>
<pre><span style="color:black">by others is strictly prohibited. If you have received the message by mistake,<o:p></o:p></span></pre>
<pre><span style="color:black">please advise the sender by reply email and delete the message. Thank you.&quot;<o:p></o:p></span></pre>
<pre><span style="color:black">**********************************************************************<o:p></o:p></span></pre>
<pre><span style="color:black"><o:p>&nbsp;</o:p></span></pre>
<pre><span style="color:black">***************************Legal Disclaimer***************************<o:p></o:p></span></pre>
<pre><span style="color:black">&quot;This communication may contain confidential and privileged material for the<o:p></o:p></span></pre>
<pre><span style="color:black">sole use of the intended recipient. Any unauthorized review, use or distribution<o:p></o:p></span></pre>
<pre><span style="color:black">by others is strictly prohibited. If you have received the message by mistake,<o:p></o:p></span></pre>
<pre><span style="color:black">please advise the sender by reply email and delete the message. Thank you.&quot;<o:p></o:p></span></pre>
<pre><span style="color:black">**********************************************************************<o:p></o:p></span></pre>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;;color:black"><br>
_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://www.gluster.org/mailman/listinfo/gluster-users">http://www.gluster.org/mailman/listinfo/gluster-users</a><o:p></o:p></span></p>
</blockquote>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,&quot;serif&quot;;color:black"><o:p>&nbsp;</o:p></span></p>
</div>
</div>
</div>
</body>
</html>


<pre>

***************************Legal Disclaimer***************************
"This communication may contain confidential and privileged material for the
sole use of the intended recipient. Any unauthorized review, use or distribution
by others is strictly prohibited. If you have received the message by mistake,
please advise the sender by reply email and delete the message. Thank you."
**********************************************************************</pre>