一、Ceph簡介

Ceph的初創(chuàng)來自Sage Weil 博士的 PhD 論文，論文 “Ceph: A Scalable, High-Performance Distributed File System”詳細(xì)的闡述了 Ceph 的設(shè)計架構(gòu)。（論文網(wǎng)址：https://www.ssrc.ucsc.edu/Papers/weil-osdi06.pdf）

簡而言之，Ceph作為一個分布式存儲系統(tǒng)設(shè)計的目標(biāo)定位為：

①可輕松擴展到數(shù)PB級別的容量（Ceph目前的版本可以輕松支持EB級別的存儲容量）

②能夠自動適應(yīng)多種工作負(fù)載的高性能（每秒輸入/輸出操作[IOPS]和帶寬）

③高可靠性，提供了對象、塊、文件系統(tǒng)一整套存儲解決方案，大大降低運維的成本

Ceph作為一個優(yōu)秀的分布式存儲系統(tǒng)，未來分布式存儲系統(tǒng)提供了設(shè)計基礎(chǔ)。自Linux內(nèi)核2.6.34版開始，Ceph.ko已經(jīng)集成到Linux內(nèi)核之中，作為分布式文件系統(tǒng)的備選項之一。同時Ceph也是OpenStack中優(yōu)秀的開源存儲解決方案，支持通過Ceph作為塊存儲或?qū)ο蟠鎯M行讀寫訪問。

Ceph提供3種存儲方式：對象存儲，塊存儲和文件系統(tǒng)，下圖很好的展示了 Ceph 存儲集群的架構(gòu)：

（1）Ceph核心組件：

在Ceph存儲中，包含以下幾個核心組件，分別是Ceph OSD；Ceph Monitor和Ceph MDS。

Ceph OSD：全稱是Object Storage Device，主要功能包括存儲數(shù)據(jù)，處理數(shù)據(jù)的復(fù)制、恢復(fù)、回補、平衡數(shù)據(jù)分布，并將一些相關(guān)數(shù)據(jù)提供給Ceph Monitor,如Ceph OSD心跳等。

Ceph Monitor：Ceph的監(jiān)控器，主要功能是維護整個集群健康狀態(tài)，提供一致性的決策，包含Monitor map、OSD map、PG(Placement Group) map和CRUSH map。

Ceph MDS：全稱是Ceph Metadata server。主要保存的是Ceph文件系統(tǒng)（File system）的元數(shù)據(jù)。（Ceph的塊存儲和對象存儲不需要Ceph MDS。Ceph MDS為基于POSIX文件系統(tǒng)的用戶提供一些基礎(chǔ)命令，如ls，find等命令）。

??（2）Ceph功能特性：

對象存儲功能特性基于LIBRADOS之上，提供當(dāng)前流行的RESTful協(xié)議的網(wǎng)關(guān)，并兼容S3和Swift接口，作為對象存儲，可以對接網(wǎng)盤應(yīng)用以及HLS流媒體應(yīng)用等，

塊存儲功能特性也基于LIBRADOS之上，通過LIBRBD創(chuàng)建一個塊設(shè)備，通過QEMU/KVM附加到VM上，作為傳統(tǒng)的塊設(shè)備來用。

文件系統(tǒng)存儲功能特性是基于RADOS來實現(xiàn)分布式的文件系統(tǒng)，引入了MDS（Metadata server）,主要為兼容POSIX文件系統(tǒng)提供元數(shù)據(jù)，可當(dāng)做文件系統(tǒng)掛載。

（3）Ceph架構(gòu)

（4）Ceph設(shè)計思想

????????Ceph最初針對的應(yīng)用場景，就是大規(guī)模的、分布式的存儲系統(tǒng)。所謂“大規(guī)?！焙汀胺植际健?，至少是能夠承載PB級別的數(shù)據(jù)和成千上萬的存儲節(jié)點組成的存儲集群。

Ceph的技術(shù)特性：

????????????①集群可靠性

????????????②集群可擴展性

????????????③數(shù)據(jù)安全性

????????????④接口統(tǒng)一性

二、如何源碼編譯Ceph

（1）安裝pip

????????$:curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py

????????$:python get-pip.py

（2）安裝gcc-7.3

????????查看當(dāng)前的gcc版本：gcc ?-v

? ? ?$: gcc -v

????????????Using built-in specs.

????????????COLLECT_GCC=gcc

????????????COLLECT_LTO_WRAPPER=/usr/libexec/gcc/aarch64-redhat-linux/4.8.5/lto-wrapper

????????????Target: aarch64-redhat-linux

????????????Configured with: ../configure --prefix=/usr --mandir=/usr/share/man --infodir=/usr/share/info --with-bugurl=http://bugzilla.redhat.com/bugzilla --enable-bootstrap --enable-shared --enable-threads=posix --enable-checking=release --with-system-zlib --enable-__cxa_atexit --disable-libunwind-exceptions --enable-gnu-unique-object --enable-linker-build-id --with-linker-hash-style=gnu --enable-languages=c,c++,objc,obj-c++,java,fortran,ada,lto --enable-plugin --enable-initfini-array --disable-libgcj --with-isl=/builddir/build/BUILD/gcc-4.8.5-20150702/obj-aarch64-redhat-linux/isl-install --with-cloog=/builddir/build/BUILD/gcc-4.8.5-20150702/obj-aarch64-redhat-linux/cloog-install --enable-gnu-indirect-function --build=aarch64-redhat-linux

????????????Thread model: posix

????????????gcc version 4.8.5 20150623 (Red Hat 4.8.5-16) (GCC)

????????下載gcc 8.2.0的源碼：

????????????????????????????????https://mirrors.ustc.edu.cn/gnu/gcc/gcc-8.2.0/gcc-8.2.0.tar.gz

????????將源碼上傳至服務(wù)器然后解壓

? ? ? ? ? ? ? ?$: mkdir -p /usr/local/gcc

? ? ? ? ? ? ? ?$:tar -xvf gcc-7.3.0.tar.gz -C /usr/local/gcc/

????????解壓完成后，編譯安裝gcc源碼

????????????????進入gcc 8.2.0目錄，運行 download_prerequisites 腳本 。

? ? ? ? ? ? ? ? $:cd? ?/usr/local/gcc/

????????????????$:cd? ?gcc-8.2.0/

????????????????$: ./contrib/download_prerequisites

????????????????2018-07-18 16:06:03 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/gmp-6.1.0.tar.bz2 [2383840] -> "./gmp-6.1.0.tar.bz2" [1]

????????????????2018-07-18 16:08:29 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/mpfr-3.1.4.tar.bz2 [1279284] -> "./mpfr-3.1.4.tar.bz2" [1]

????????????????2018-07-18 16:09:25 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/mpc-1.0.3.tar.gz [669925] -> "./mpc-1.0.3.tar.gz" [1]

????????????????2018-07-18 16:12:42 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/isl-0.16.1.tar.bz2 [1626446] -> "./isl-0.16.1.tar.bz2" [1]

????????????????gmp-6.1.0.tar.bz2: OK

????????????????mpfr-3.1.4.tar.bz2: OK

????????????????mpc-1.0.3.tar.gz: OK

????????????????isl-0.16.1.tar.bz2: OK

????????????????All prerequisites downloaded successfully.

????????????????建立編譯輸出目錄，將所有的中間文件都放到該目錄中。

????????????????$:cd /usr/local/gcc/gcc-8.2.0

? ? ? ? ? ? ? ? $:mkdir gcc-build-7.3.0

? ? ? ? ? ? ? ? $:cd gcc-build-7.3.0/

????????????????$: cp ../gmp-6.1.0.tar.bz2 ./

????????????????$: cp ../mpfr-3.1.4.tar.bz2 ./

????????????????$: cp ../mpc-1.0.3.tar.gz ./

????????????????$: cp ../isl-0.16.1.tar.bz2 ./

????配置：

????????????在當(dāng)前目錄執(zhí)行：

????????????$: ../configure --enable-checking=release --enable-languages=c,c++ --disable-multilib?

? ????????參數(shù)解釋：?

? ????????????????--enable-checking=release ? ? ? ? ? //增加一些檢查，也可以–disable-checking生成的編譯器在編譯過程中不做檢查；

????????? ????????--enable-languages=c,c++ ? ? ? ? ?//讓gcc支持的編程語言 ；

? ????????????????--disable-multilib ? ? ? ? ? ? ? //取消多目標(biāo)庫編譯(取消32位庫編譯)。

? ? make編譯

????????????當(dāng)前目錄執(zhí)行：make ?-j4

? ? 進入make的gcc目錄進行安裝

????????????make install -j8

????生成軟鏈接

????????????$:ln -s /usr/local/bin/gcc /usr/bin/gcc

????????????$:ln -s /usr/local/bin/g++ /usr/bin/g++

? ? 驗證

????????????$:gcc -v && g++ -v

（3）安裝cmake

????????下載cmake源碼包cmake-3.13? ? ? ?

????????創(chuàng)建用于安裝cmake的目錄/usr/local/cmake，并解壓cmake源碼包到/usr/local/cmake

????????配置并編譯

? ? ? ? ? ? $:./configure

? ? ? ? ? ? $:make

? ? ? ? ? ? $:make install

? ? ? ? ? ? $:mv ??* ?../

? ? ? ? ? ? $:rm ??-rf ??cmake-2.8.5

????????修改/etc/profile文件

? ? ? ? ? ? $:vim ??/etc/profile

????????????????#cmake

????????????????PATH=/usr/local/cmake/bin:$PATH

????????????????export PATH

????????????檢查cmake是否安裝成功

（4）下載ceph源碼

從github下載源碼，要加上–recursive參數(shù)，不然ceph源碼內(nèi)的很多子程序無法下載?

????????$:git clone --recursive https://github.com/ceph/ceph.git

（5）下載ceph所需的庫

????????$:cd ceph

????????$:sudo ./install-deps.sh

（6）運行腳本

? ? ? ? $:sudo ./do_cmake.sh

（7）編譯ceph

????????$:cd build

????????$:sudo make -j10

（8）安裝ceph

????????$:sudo make install

（9）驗證ceph

????????[zc@node-02 build]$ ./bin/ceph -v

????????*** DEVELOPER MODE: setting PATH, PYTHONPATH and LD_LIBRARY_PATH ***

? ? ? ? ? ceph version 14.0.1-924-g38e95b2 (38e95b2d8a40df264ea685ad528f89c78e01da0c) nautilus (dev)

錯誤處理

Error1>

????[endif]Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-*(其中×與要安裝的軟件有關(guān))

????????????$:sudo python -m pip install --upgrade --force pip

????????????$:sudo pip install setuptools==33.1.1

Error2>

????????????$:yum install -y libffi-devel

Error3>

????????/lib64/libsnappy.so: undefined reference to `operator delete(void*, unsigned long)@CXXABI_1.3.9'

????????collect2: error: ld returned 1 exit status

????????make[2]: *** [bin/ceph_perf_local] Error 1

????????make[1]: *** [src/test/CMakeFiles/ceph_perf_local.dir/all] Error 2

????????[ 56%] Built target ceph_test_keys

????????make: *** [all] Error 2

????????????????$:sudo mv /usr/lib64/libstdc++.so.6 ~

????????????????$:sudo mv /usr/lib64/libstdc++.so.6.0.19 ~

????????????????$:sudo ln -s /usr/local/lib64/libstdc++.so.6 /usr/lib64/libstdc++.so.6

????????????????$:sudo ln -s /usr/local/lib64/libstdc++.so.6.0.24 /usr/lib64/libstdc++.so.6.0.19

Error4>

????????LevelDBStore.cc:(.text+0x170c): undefined reference to `leveldb::RepairDB(std::__cxxptions const&)'

????????LevelDBStore.cc:(.text+0x1750): undefined reference to `leveldb::Status::ToString[ab

????????collect2: error: ld returned 1 exit status

????????????????下載leveldb-1.20

????????????????????????????https://github.com/google/leveldb/releases

????????????????解壓安裝包到指定目錄

????????????????????????$:tar -zxvf leveldb-1.20.tar.gz -C /usr/local/

????????????????????????$:cd?/usr/local/leveldb-1.20

????????????????????????$:make

????????????????編譯完成后：找一下動態(tài)庫

????????????????????????$:cd out-shared/

????????????????????????$:ll

????????????????????????????total 648

????????????????????????????drwxr-xr-x 2 root root ???299 Nov 21 09:49 db

? ? ? ? ? ? ? ? ? ? ? ? ? ? -rwxr-xr-x 1 root root ?80536 Nov 21 09:49 db_bench

????????????????????????????drwxr-xr-x 3 root root ????20 Nov 21 09:47 helpers

????????????????????????????lrwxrwxrwx 1 root root ????18 Nov 21 09:49 libleveldb.so -> libleveldb.so.1.20

????????????????????????????lrwxrwxrwx 1 root root ????18 Nov 21 09:49 libleveldb.so.1 -> libleveldb.so.1.20

????????????????????????????-rwxr-xr-x 1 root root 591128 Nov 21 09:49 libleveldb.so.1.20

????????????????????????????drwxr-xr-x 2 root root ????50 Nov 21 09:49 port

????????????????????????????drwxr-xr-x 2 root root ???182 Nov 21 09:49 table

????????????????????????????drwxr-xr-x 2 root root ???241 Nov 21 09:49 util????

????????????將新編譯的動態(tài)庫替換掉原來的庫：

????????????????????????[root@node-02 out-shared]# cp libleveldb.so* /usr/lib64/

????????????????????????[root@node-02 lib64]# ll libleveldb.so*

????????????????????????????????????-rwxr-xr-x. 1 root root 423152 Mar? 8 02:22 libleveldb.so

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?-rwxr-xr-x. 1 root root 423152 Mar? 8 02:22 libleveldb.so.1

????????????????????????????????????-rwxr-xr-x. 1 root root 348928 May 17? 2016 libleveldb.so.1.0.7

????????????????????????????????????-rwxr-xr-x. 1 root root 423152 Mar? 8 02:22 libleveldb.so.1.20

????????????????????????[root@node-02 lib64]# rm libleveldb.so libleveldb.so.1

????????????????????????[root@node-02 lib64]# ll libleveldb.so*

????????????????????????????????????-rwxr-xr-x. 1 root root 348928 May 17? 2016 libleveldb.so.1.0.7

????????????????????????????????????-rwxr-xr-x. 1 root root 423152 Mar? 8 02:22 libleveldb.so.1.20

????????????????????????[root@node-02 lib64]# ln -s libleveldb.so.1.20 libleveldb.so

????????????????????????[root@node-02 lib64]# ln -s libleveldb.so.1.20 libleveldb.so.1

????????????????????????[root@node-02 lib64]# ll libleveldb.so*

????????????????????????????????????lrwxrwxrwx. 1 root root???? 18 Mar? 8 02:23 libleveldb.so -> libleveldb.so.1.20

????????????????????????????????????lrwxrwxrwx. 1 root root???? 18 Mar? 8 02:23 libleveldb.so.1 -> libleveldb.so.1.20

????????????????????????????????????-rwxr-xr-x. 1 root root 348928 May 17? 2016 libleveldb.so.1.0.7

????????????????????????????????????-rwxr-xr-x. 1 root root 423152 Mar? 8 02:22 libleveldb.so.1.20

????????????保險起見，把include下的頭文件也替換掉：

????????????????????????[root@node-02 ~]# cd /usr/local/leveldb-1.20/include

????????????????????????[root@node-02 include]# cp -r leveldb/ /usr/include/

Error>

????(如果以安裝gcc-8.2.0不會出現(xiàn)下面報錯)

????with preprocessed source if appropriate.

????Please include the complete backtrace with any bug report.

????See <https://gcc.gnu.org/bugs/> for instructions.

????make[2]: *** [src/test/librbd/CMakeFiles/unittest_librbd.dir/managed_lock/test_mock_GetLockerRequest.cc.o] Error 1

????make[2]: *** Waiting for unfinished jobs....

????[ 98%] Built target radosgw

????make[1]: *** [src/test/librbd/CMakeFiles/unittest_librbd.dir/all] Error 2

????make[1]: *** Waiting for unfinished jobs....

????[ 98%] Built target ceph-dencoder

????make: *** [all] Error 2

報編輯器內(nèi)部錯誤，當(dāng)前使用的是gcc-7.3.0，更換gcc版本為gcc-8.2.0編譯成功。