使用內核驅動程序掛載CephFs

1、在ceph-client1客戶端節(jié)點上創(chuàng)建掛載點目錄

 mkdir /mnt/mycephfs

2、查看管理員秘鑰
因為要掛載啟用了 cephx 認證的 Ceph 文件系統(tǒng)，所以必須指定用戶名、密鑰。

 cd /etc/ceph/
 cat ceph.client.admin.keyring 
[client.admin]
    key = AQDPdgZcQXRtGBAAfAY5WZwZWdAKoTLqQwwDoA==   #這個就是管理員的秘鑰，等會掛載的時候用得上

    caps mds = "allow *"
    caps mon = "allow *"
    caps osd = "allow *"

3、使用linux的mount命令掛載cephfs

mount -t ceph 10.33.1.55:6789:/ /mnt/cephfs -o name=admin,secret=AQDPdgZcQXRtGBAAfAY5WZwZWdAKoTLqQwwDoA==

4、用df -h命令查看掛載情況

 df -h
Filesystem             Size  Used Avail Use% Mounted on
devtmpfs               471M     0  471M   0% /dev
tmpfs                  483M     0  483M   0% /dev/shm
tmpfs                  483M  6.6M  477M   2% /run
tmpfs                  483M     0  483M   0% /sys/fs/cgroup
/dev/mapper/cl-root    8.0G  1.5G  6.5G  19% /
/dev/sda1             1014M  186M  829M  19% /boot
/dev/rbd0               10G   33M   10G   1% /mnt/ceph-vol1
tmpfs                   97M     0   97M   0% /run/user/0
192.168.89.103:6789:/   45G  436M   45G   1% /mnt/mycephfs #這個就是掛載好的cephfs

5、卸載cephfs

 umount /mnt/mycephfs
 df -h
Filesystem           Size  Used Avail Use% Mounted on
devtmpfs             471M     0  471M   0% /dev
tmpfs                483M     0  483M   0% /dev/shm
tmpfs                483M  6.6M  477M   2% /run
tmpfs                483M     0  483M   0% /sys/fs/cgroup
/dev/mapper/cl-root  8.0G  1.5G  6.5G  19% /
/dev/sda1           1014M  186M  829M  19% /boot
/dev/rbd0             10G   33M   10G   1% /mnt/ceph-vol1
tmpfs                 97M     0   97M   0% /run/user/0

6、以更安全的方式掛載
用法會把密碼遺留在 Bash 歷史里，更安全的方法是從文件讀密碼
將admin的秘鑰保存到文件里

 echo "AQBOp0xaDyeNGBAAqbEktnUq5GFVF5arsWbesA==" > /etc/ceph/admin.secret
 mount -t ceph 192.168.89.103:6789:/ /mnt/mycephfs -o name=admin,secretfile=/etc/ceph/admin.secret
 df -h
Filesystem             Size  Used Avail Use% Mounted on
devtmpfs               471M     0  471M   0% /dev
tmpfs                  483M     0  483M   0% /dev/shm
tmpfs                  483M  6.6M  477M   2% /run
tmpfs                  483M     0  483M   0% /sys/fs/cgroup
/dev/mapper/cl-root    8.0G  1.5G  6.5G  19% /
/dev/sda1             1014M  186M  829M  19% /boot
/dev/rbd0               10G   33M   10G   1% /mnt/ceph-vol1
tmpfs                   97M     0   97M   0% /run/user/0
192.168.89.103:6789:/   45G  436M   45G   1% /mnt/mycephfs #這個就是掛載好的cephfs

通過FUSE方式掛載CephFS
如果內核版本低于2.6.34，那么可以使用ceph的FUSE客戶端來進行掛載ceph文件系統(tǒng)

1、在客戶端上安裝fuse

 apt install ceph-fuse

2、創(chuàng)建掛載點目錄

mkdir /mnt/fuse_cephfs/

3、開始掛載

 ceph-fuse -m 10.33.1.55:6789 /mnt/fuse_cephfs/
2018-12-17 14:43:31.374161 7f7267886f00 -1 init, newargv = 0x5581daf26fc0 newargc=11ceph-fuse[23983]: starting ceph client

ceph-fuse[23983]: starting fuse

4、查看掛載后的信息

 df -h

Filesystem                   Size  Used Avail Use% Mounted on
udev                         981M     0  981M   0% /dev
tmpfs                        201M   16M  185M   8% /run
/dev/mapper/ubuntu--vg-root   15G  5.2G  8.3G  39% /
tmpfs                       1001M     0 1001M   0% /dev/shm
tmpfs                        5.0M     0  5.0M   0% /run/lock
tmpfs                       1001M     0 1001M   0% /sys/fs/cgroup
/dev/sda1                    472M   58M  391M  13% /boot
tmpfs                        201M     0  201M   0% /run/user/0
/dev/sdb1                     11G  1.6G  9.5G  15% /var/lib/ceph/osd/ceph-0
ceph-fuse                     33G  4.7G   29G  15% /mnt/fuse_cephfs

5、我把之前通過kernel驅動程序的掛載方式中的掛載點目錄更改為了kernel_cephfs
并再次執(zhí)行了掛載后

 df -h
Filesystem             Size  Used Avail Use% Mounted on
devtmpfs               471M     0  471M   0% /dev
tmpfs                  483M     0  483M   0% /dev/shm
tmpfs                  483M  6.6M  477M   2% /run
tmpfs                  483M     0  483M   0% /sys/fs/cgroup
/dev/mapper/cl-root    8.0G  1.5G  6.5G  19% /
/dev/sda1             1014M  186M  829M  19% /boot
tmpfs                   97M     0   97M   0% /run/user/0
ceph-fuse               45G  444M   45G   1% /mnt/fuse_cephfs #這是fuse客戶端方式掛載
192.168.89.103:6789:/   45G  444M   45G   1% /mnt/kernel_cephfs #這是kernel的方式掛載

事實證明：這兩者可以同時存在，我這里是在同一臺機器上，當然更可以在不同的機器上掛載同一個cephfs
并且，我在/mnt/fuse_cephfs目錄下創(chuàng)建了file_fuse_123.txt，然后再到/mnt/kernel_cephfs去查看，也出現(xiàn)了file_fuse_123.txt
此處證明，cephfs是分布式的且共享型的網絡文件系統(tǒng).
注意，這兩種掛載方式雖然可以在一臺機器上同時存在，但是在生產環(huán)境中這么做是沒有太大意義的。我這里僅僅只是為了測試而已。

6、開機自動掛載cephfs
如需要開機時自動掛載cephfs，將下面的信息添加到客戶端的/etc/fstab中
id=admin /mnt/fuse_cephfs fuse.ceph defaults 0 0

7、重啟客戶端的注意事項
1、重啟前最好是先umont調掛載后的文件系統(tǒng)
2、然后再重啟