OpenStack（Pike）連接 Ceph RBD

0. 環(huán)境信息

請注意，本文檔假設(shè) Ceph 和 OpenStack 環(huán)境已經(jīng)可用，在此基礎(chǔ)上，配置 OpenStack 使用 Ceph RBD 作為鏡像和卷的后端存儲。

Ceph + OpenStack

軟件版本

  • OpenStack 版本: Pike release
  • Ceph 版本：12.2.7 luminous
  • 虛擬機(jī)系統(tǒng)：Ubuntu 16.04

虛擬機(jī)信息：

  • 一共用到六臺虛擬機(jī)，三臺用作 OpenStack 的控制節(jié)點(diǎn)，三臺用作 OpenStack 的計(jì)算節(jié)點(diǎn)。
  • 六臺虛擬機(jī)信息：
    • hostname：controller-1，IP：10.0.0.1
    • hostname：controller-2，IP：10.0.0.2
    • hostname：controller-3，IP：10.0.0.3
    • hostname：compute-1，IP：10.0.0.4
    • hostname：compute-2，IP：10.0.0.5
    • hostname：compute-3，IP：10.0.0.6

1. 升級內(nèi)核

要升級內(nèi)核的原因是 Ubuntu 16.04 使用的內(nèi)核版本是 4.4，而 ceph RBD image 默認(rèn)打開的功能包括：layering, exclusive-lock, object-map, fast-diff, deep-flatten，除了 layering，其他 linux kernel 4.4 均不支持，但也不是必須通過升級內(nèi)核來解決該問題，也可以修改 RBD 參數(shù) rbd_default_features，關(guān)閉不支持的特性來解決：sudo ceph daemon mon.<monitor-hostname> config set rbd_default_features 1 (該命令需要在 Ceph 的控制節(jié)點(diǎn)上執(zhí)行)

接下來講一下升級 Linux kernel 的方法，Linux kernel 全部可用版本的下載地址為：
http://kernel.ubuntu.com/~kernel-ppa/mainline/

本文選用了 4.15 最新的分支：v4.15.18，需要下載兩個文件：

$ wget http://kernel.ubuntu.com/~kernel-ppa/mainline/v4.15.18/linux-headers-4.15.18-041518_4.15.18-041518.201804190330_all.deb
$ wget http://kernel.ubuntu.com/~kernel-ppa/mainline/v4.15.18/linux-image-4.15.18-041518-generic_4.15.18-041518.201804190330_amd64.deb
$ sudo dpkg -i linux-headers-4.15.18-041518_4.15.18-041518.201804190330_all.deb
$ sudo dpkg -i linux-image-4.15.18-041518-generic_4.15.18-041518.201804190330_amd64.deb

安裝完成后需要重啟服務(wù)器才能生效

$ sudo reboot

重新啟動后查詢 kernel 版本，新安裝的 kernel 已經(jīng)生效

$ sudo uname -r  
4.15.18-041518-generic

2. Ceph 的準(zhǔn)備工作

首先要為 glance 和 cinder 先創(chuàng)建好 pool，后面的數(shù)字是 pool 中包含的 pg 數(shù)量，pg 數(shù)量可以根據(jù)需求修改，大的原則是里面存儲的數(shù)據(jù)越多，pg 數(shù)量也要越大。

$ ceph osd pool create volumes 128
$ ceph osd pool create images 128
$ ceph osd pool create backups 128
$ ceph osd pool create vms 128

然后初始化 pool，將其應(yīng)用類型設(shè)置為 RBD：

$ rbd pool init volumes
$ rbd pool init images
$ rbd pool init backups
$ rbd pool init vms

接下來為 glance 和 cinder 生成連接 ceph 所用的 密鑰：

$ ceph auth get-or-create client.glance mon 'profile rbd' osd 'profile rbd pool=images'
$ ceph auth get-or-create client.cinder mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'
$ ceph auth get-or-create client.cinder-backup mon 'profile rbd' osd 'profile rbd pool=backups'

最后全部六臺 OpenStack 服務(wù)器都需要 ceph 的配置文件，需要注意，下面這條命令需要在 OpenStack 服務(wù)器上需要能夠無需密碼即可以 sudo 權(quán)限執(zhí)行命令，如果不滿足這個條件的話，手動 ssh 登錄，再填內(nèi)容吧。

$ ssh {your-openstack-server} sudo tee /etc/ceph/ceph.conf </etc/ceph/ceph.conf

3. Glance

首先在安裝 glance-api 的 OpenStack 服務(wù)器上安裝 RBD python 客戶端：

$ sudo apt-get install python-rbd

Glance 要連接 Ceph 就需要 Ceph 的密鑰，所以 keyring 文件也必不可少，并且需要修改文件的 owner 改為 glance。

$ ceph auth get-or-create client.glance | ssh {your-glance-api-server} sudo tee /etc/ceph/ceph.client.glance.keyring
$ ssh {your-glance-api-server} sudo chown glance:glance /etc/ceph/ceph.client.glance.keyring

Ceph 相關(guān)的配置已經(jīng)準(zhǔn)備就緒了，接下來需要修改 glance 的配置文件。

$ sudo vim  /etc/glance/glance-api.conf
[DEFAULT]
show_image_direct_url = True

hw_scsi_model=virtio-scsi
hw_disk_bus=scsi
hw_qemu_guest_agent=yes
os_require_quiesce=yes

......

[glance_store]
stores = rbd
default_store = rbd
rbd_store_pool = images
rbd_store_user = glance
rbd_store_ceph_conf = /etc/ceph/ceph.conf
rbd_store_chunk_size = 8

[paste_deploy]
flavor = keystone

修改完成后，重啟 glance-api 服務(wù)就完成了鏡像相關(guān)的配置。

$ sudo service openstack-glance-api restart

4. 計(jì)算節(jié)點(diǎn)

全部三臺 compute 節(jié)點(diǎn)，都需要安裝 ceph-common，另外要注意，ceph 要指定版本，下面命令里的頭兩句就是通過環(huán)境變量指定安裝 luminous 版本。

$ CEPH_DEPLOY_REPO_URL=http://mirrors.163.com/ceph/debian-luminous
$ CEPH_DEPLOY_GPG_URL=http://mirrors.163.com/ceph/keys/release.asc
$ sudo apt update
$ sudo apt-get install ceph-common

接下來因?yàn)?libvirt 需要連接 RBD 來掛載遠(yuǎn)程塊存儲，所以 libvirt 需要 RBD 的密鑰，具體做法如下，

# 在 Ceph 節(jié)點(diǎn)上執(zhí)行，并將輸出結(jié)果寫入到計(jì)算節(jié)點(diǎn)的任意目錄下的 client.cinder.key 文件中，作為暫存。
$ ceph auth get-key client.cinder | ssh {your-compute-node} tee client.cinder.key
# 產(chǎn)生 UUID
$ uuidgen
457eb676-33da-42ec-9a8c-9293d545c337
# 生成 libvert 注入文件
$ cat > secret.xml <<EOF
<secret ephemeral='no' private='no'>
  <uuid>457eb676-33da-42ec-9a8c-9293d545c337</uuid>
  <usage type='ceph'>
    <name>client.cinder secret</name>
  </usage>
</secret>
EOF
# 注入 secret.xml 文件
$ sudo virsh secret-define --file secret.xml
Secret 457eb676-33da-42ec-9a8c-9293d545c337 created
# 關(guān)聯(lián)注入的 secret 和 ceph 密鑰，并刪除暫存的 client.cinder.key 文件。
$ sudo virsh secret-set-value --secret 457eb676-33da-42ec-9a8c-9293d545c337 --base64 $(cat client.cinder.key) && rm client.cinder.key secret.xml

修改 /etc/ceph/ceph.conf 文件：

$ vim  /etc/ceph/ceph.conf
...
[client]
    rbd cache = true
    rbd cache writethrough until flush = true
    admin socket = /var/run/ceph/guests/$cluster-$type.$id.$pid.$cctid.asok
    log file = /var/log/qemu/qemu-guest-$pid.log
    rbd concurrent management ops = 20

創(chuàng)建虛擬機(jī)掛載磁盤的日志輸出目錄，并修改權(quán)限。

$ sudo mkdir -p /var/run/ceph/guests/ /var/log/qemu/
$ sudo chown libvirt-qemu:kvm /var/run/ceph/guests /var/log/qemu/

重啟 nova compute 服務(wù)。

$ sudo systemctl restart openstack-nova-compute

5. Cinder

最后完成塊存儲的配置，首先也要和計(jì)算節(jié)點(diǎn)一樣，在所有運(yùn)行 cinder 的節(jié)點(diǎn)上安裝 ceph-common，在本文中就是全部三臺 controller 節(jié)點(diǎn)。

$ CEPH_DEPLOY_REPO_URL=http://mirrors.163.com/ceph/debian-luminous
$ CEPH_DEPLOY_GPG_URL=http://mirrors.163.com/ceph/keys/release.asc
$ sudo apt update
$ sudo apt-get install ceph-common

修改 cinder 配置文件：
rbd_user 要使用之前在 Ceph 上創(chuàng)建的賬戶，rbd_secret_uuid 要使用之前在 libvirt 中添加的 secret 的 UUID。

$ vim /etc/cinder/cinder.conf 
[DEFAULT]
...
enabled_backends = ceph
glance_api_version = 2
...
[ceph]
volume_driver = cinder.volume.drivers.rbd.RBDDriver
volume_backend_name = ceph
rbd_pool = volumes
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1
rbd_user = cinder
rbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337

全部搞好后，重啟 cinder 相關(guān)服務(wù)。

$ sudo service openstack-cinder-volume restart
$ sudo service openstack-cinder-backup restart

6. 參考文檔

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容