<div dir="ltr">Hi,<div><br></div><div>I am trying to attach a cache tier to normal distributed volume. I am seeing write failures when the cache brick becomes full. following are the steps</div><div><br></div><div><br></div><div><div><b>&gt;&gt; 1. create volume using hdd brick</b></div><div><br></div><div><i>root@host:~/gluster/glusterfs# gluster volume create vol host:/data/brick1/hdd/</i></div><div><i>volume create: vol: success: please start the volume to access data</i></div><div><i>root@host:~/gluster/glusterfs# gluster volume start vol</i></div><div><i>volume start: vol: success</i></div><div><br></div><div><b>&gt;&gt; 2. mount and write one file of size 1G</b></div><div><br></div><div><i>root@host:~/gluster/glusterfs# mount -t glusterfs host:/vol /mnt</i></div><div><i>root@host:~/gluster/glusterfs# dd if=/dev/zero of=/mnt/file1 bs=1G count=1</i></div><div><i>1+0 records in</i></div><div><i>1+0 records out</i></div><div><i>1073741824 bytes (1.1 GB) copied, 1.50069 s, 715 MB/s</i></div><div><i><br></i></div><div><i>root@host:~/gluster/glusterfs# du -sh /data/brick*</i></div><div><i>1.1G    /data/brick1</i></div><div><i>60K     /data/brick2</i></div><div><br></div><div><b><br></b></div><div><b>&gt;&gt; 3. attach ssd brick as tier</b></div><div><i><br></i></div><div><i>root@host:~/gluster/glusterfs# gluster volume attach-tier vol host:/data/brick2/ssd/</i></div><div><i>Attach tier is recommended only for testing purposes in this release. Do you want to continue? (y/n) y</i></div><div><i>volume attach-tier: success</i></div><div><i>volume rebalance: vol: success: Rebalance on vol has been started successfully. Use rebalance status command to check status of the rebalance process.</i></div><div><i>ID: dea8d1b7-f0f4-4c17-94f5-ba0e263bc561</i></div><div><i><br></i></div><div><i>root@host:~/gluster/glusterfs# gluster volume rebalance vol tier status</i></div><div><i>Node                 Promoted files       Demoted files        Status</i></div><div><i>---------            ---------            ---------            ---------</i></div><div><i>localhost            0                    0                    in progress</i></div><div><i>volume rebalance: vol: success</i></div><div><br></div><div><b><br></b></div><div><b>&gt;&gt; 4. write data to fill up cache tier</b></div><div><br></div><div><i>root@host:~/gluster/glusterfs# dd if=/dev/zero of=/mnt/file2 bs=1G count=9 oflag=direct</i></div><div><i>9+0 records in</i></div><div><i>9+0 records out</i></div><div><i>9663676416 bytes (9.7 GB) copied, 36.793 s, 263 MB/s</i></div><div><i>root@host:~/gluster/glusterfs# du -sh /data/brick*</i></div><div><i>1.1G    /data/brick1</i></div><div><i>9.1G    /data/brick2</i></div><div><i>root@host:~/gluster/glusterfs# gluster volume rebalance vol tier status</i></div><div><i>Node                 Promoted files       Demoted files        Status</i></div><div><i>---------            ---------            ---------            ---------</i></div><div><i>localhost            0                    0                    in progress</i></div><div><i>volume rebalance: vol: success</i></div><div><i>root@host:~/gluster/glusterfs# gluster volume rebalance vol  status</i></div><div><i>                                    Node Rebalanced-files          size       scanned      failures       skipped               status   run time in secs</i></div><div><i>                               ---------      -----------   -----------   -----------   -----------   -----------         ------------     --------------</i></div><div><i>                               localhost                0        0Bytes             0             0             0          in progress             112.00</i></div><div><i>volume rebalance: vol: success</i></div><div><i><br></i></div><div><i>root@host:~/gluster/glusterfs# dd if=/dev/zero of=/mnt/file3 bs=1G count=5 oflag=direct</i></div><div><i>dd: error writing â/mnt/file3â: No space left on device</i></div><div><i>dd: closing output file â/mnt/file3â: No space left on device</i></div><div><i><br></i></div><div><i>root@host:~/gluster/glusterfs# du -sh /data/brick*</i></div><div><i>1.1G    /data/brick1</i></div><div><i>9.3G    /data/brick2</i></div><div><br></div></div><div><b>&gt;&gt;&gt;&gt; there is lot of space free in cold brick but writes are failing...</b></div><div><br></div><div><div><i>root@vsan18:~/gluster/glusterfs# df -h</i></div><div><i>. &lt;cut&gt;</i></div><div><i>.</i></div><div><i>/dev/sdb3       231G  1.1G  230G   1% /data/brick1</i></div><div><i>/dev/ssd       9.4G  9.4G  104K 100% /data/brick2</i></div><div><i>host:/vol     241G   11G  230G   5% /mnt</i></div></div><div><br></div><div>Please let me know if I am missing something. </div><div>Is this behavior expected. shouldn&#39;t the files be re-balanced?  </div><div><br></div><div>Thanks,</div><div>Ameet</div></div>