前言

rbd是ceph提供的塊存儲(chǔ)服務(wù)。主要有幾種使用場(chǎng)景：

• map成塊設(shè)備直接使用
• 結(jié)合iSCSI使用
• 結(jié)合OpenStack使用

map成塊設(shè)備，主要有兩種方式：

• 通過(guò)RBD Kernel Module
• 通過(guò)RBD-NBD

經(jīng)過(guò)考察，發(fā)現(xiàn)RBD Kernel Module項(xiàng)目更新緩慢，其功能已經(jīng)遠(yuǎn)遠(yuǎn)落后于librbd提供的功能。像striping、object map、exclusive lock等功能均不支持。

RBD-NBD方式，基于Network Block Device(nbd)實(shí)現(xiàn)，并且nbd已經(jīng)經(jīng)過(guò)了很長(zhǎng)時(shí)間的實(shí)踐，穩(wěn)定性有所保證。對(duì)塊設(shè)備的請(qǐng)求，由nbd間接調(diào)用librbd完成，可以支持最新的特性，是比較理想的方式。

下文將對(duì)rbd通過(guò)nbd進(jìn)行讀寫和map的實(shí)現(xiàn)進(jìn)行介紹。

nbd

nbd是一種起源于linux的輕量級(jí)塊訪問(wèn)協(xié)議，可以讓你將任何存儲(chǔ)方式作為操作系統(tǒng)的塊設(shè)備來(lái)使用。它主要分成兩部分，server端和client端。client端位于linux內(nèi)核。server端需要由你實(shí)現(xiàn)。

當(dāng)我們對(duì)/dev/nbdx設(shè)備發(fā)起io操作時(shí)，會(huì)由內(nèi)核中的nbd client封裝成nbd請(qǐng)求通過(guò)tcp網(wǎng)絡(luò)發(fā)送給對(duì)應(yīng)的nbd server，server端解析請(qǐng)求，做出處理后，返回結(jié)果到nbd client端。

image.png

有關(guān)協(xié)議的內(nèi)容和操作方式，見(jiàn)官方文檔。
注意，這里文檔里稱內(nèi)核中的部分為server，我們實(shí)現(xiàn)的部分為client。

rbd-nbd

ceph社區(qū)為nbd實(shí)現(xiàn)了一個(gè)server，這個(gè)server會(huì)接收來(lái)自內(nèi)核中nbd的請(qǐng)求，然后轉(zhuǎn)調(diào)librdb完成請(qǐng)求，返回結(jié)果。

rbd對(duì)nbd的支持全部位于rbd-nbd.cc文件，大概1000行代碼。

命令基本實(shí)現(xiàn)

• 使用rbd-nbd map image-spec|snap-spec 命令將一個(gè)rbd鏡像map到塊設(shè)備，是fork出一個(gè)server進(jìn)程，并為該server進(jìn)程和內(nèi)核client指定通信所用的socket fd。當(dāng)然，還要為client設(shè)置timeout、block size、device size等等一些參數(shù)，以及一些flags。之后，server進(jìn)程會(huì)運(yùn)行兩個(gè)線程，然后調(diào)用ioctl(nbd, NBD_DO_IT)進(jìn)入阻塞狀態(tài)，直到unmap過(guò)程中調(diào)用ioctl(nbd, NBD_DISCONNECT)。一個(gè)為讀線程，接收來(lái)自client的請(qǐng)求，解析后放入一個(gè)pending隊(duì)列，然后調(diào)用image.aio_write``image.aio_read``image.aio_flush等命令異步執(zhí)行操作，在其完成后會(huì)調(diào)用提前注冊(cè)的回調(diào)函數(shù)，將請(qǐng)求從pending隊(duì)列轉(zhuǎn)移到finish隊(duì)列。另一個(gè)為寫線程，finish隊(duì)列為空時(shí)，寫線程阻塞，當(dāng)finish隊(duì)列不為空時(shí)，寫線程負(fù)責(zé)從finish隊(duì)列中取出完成的請(qǐng)求，將結(jié)果返回給nbd client端。
• 使用rbd-nbd unmap devpath命令進(jìn)行unmap操作，其實(shí)只有兩行代碼： int nbd = open_device(devpath.c_str()) 和ioctl(nbd, NBD_DISCONNECT)(NBD_DISCONNECT是nbd的協(xié)議原語(yǔ)之一)。
• 使用rbd-nbd list-mapped命令查看所有map的nbd設(shè)備和rbd鏡像的對(duì)應(yīng)關(guān)系，其步驟是：從x=0開(kāi)始遍歷，通過(guò)/sys/block/nbd<x>/pid獲取該nbd設(shè)備對(duì)應(yīng)的server進(jìn)程pid，然后通過(guò)/proc/<pid>/cmdline獲取該進(jìn)程啟動(dòng)時(shí)的命令（肯定是rbd-nbd map image-spec|snap-spec），通過(guò)解析cmdline來(lái)獲得image、pool等信息。

一些要點(diǎn)

• rbd-nbd server與client的通信是使用socketpair(AF_UNIX, SOCK_STREAM, 0, fd)產(chǎn)生fd進(jìn)行的。client端通過(guò)fd[0]向server發(fā)送請(qǐng)求與接收結(jié)果。server端通過(guò)fd[1]接收client端發(fā)送的請(qǐng)求，并返回結(jié)果。
• 通過(guò)nbd map的塊設(shè)備只可能有兩個(gè)cache，一個(gè)是內(nèi)核中的塊設(shè)備緩存，一個(gè)是librbd的緩存。nbd本身沒(méi)有做緩存。
• rbd-nbd會(huì)監(jiān)控rbd image size的變化，發(fā)生變化時(shí)，會(huì)依次清空blk設(shè)備緩存ioctl(fd, BLKFLSBUF, NULL)，設(shè)置新size到nbd clientioctl(fd, NBD_SET_SIZE, new_size)，重新掃描分區(qū)表ioctl(fd, BLKRRPART, NULL)，清空image緩存image.invalidate_cache()。

寫的不是很詳細(xì)，有問(wèn)題私戳我吧。。

參考

https://sourceforge.net/p/nbd/code/ci/master/tree/doc/proto.md
https://nbd.sourceforge.io/
https://github.com/ceph/ceph/blob/master/src/tools/rbd_nbd/rbd-nbd.cc