title: cephfs如何配置多主（多活）MDS
2019/03/29 ypdai
配置多主MDS
MDS配置模式分為以下三種：
- 冷備模式：同一時間，只有一個mds工作，單純的進程備份。
- 熱備模式：同一時間，只有一個mds工作，但除了進程備份，也實時備份元數(shù)據(jù)，這樣可以加快MDS故障切換時間。
- 多主模式：多個MDS同時工作，各自管理自己負責的元數(shù)據(jù)。
默認情況下，每個cephfs文件系統(tǒng)的MDS都是以冷備模式配置的。有時候為了獲取更高的性能，可以啟用多個活動的MDS守護進程，也就是多主模式，它們將彼此分擔元數(shù)據(jù)的工作負載。
下面主要介紹如何配置MDS多主模式。
1、什么時候需要配置多主MDS？
當cephfs的性能出現(xiàn)在MDS上時，就應(yīng)該配置多個活動的MDS。通常是多個客戶機應(yīng)用程序并行的執(zhí)行大量元數(shù)據(jù)操作，并且它們分別有自己單獨的工作目錄。這種情況下很適合使用多主MDS模式。
2、開始配置MDS多主模式
2.1、增加max_mds
每個cephfs文件系統(tǒng)都有一個max_mds設(shè)置，可以理解為它將控制創(chuàng)建多少個主MDS。注意只有當實際的MDS個數(shù)大于或等于max_mds設(shè)置的值時，mdx_mds設(shè)置才會生效。例如，如果只有一個MDS守護進程在運行，并且max_mds被設(shè)置為兩個，則不會創(chuàng)建第二個主MDS。
將max_mds設(shè)置為所需的個數(shù)：
$ ceph fs set max_mds 2
2.2、配置備用MDS
即使有多個活動的MDS，如果其中一個MDS出現(xiàn)故障，仍然需要備用守護進程來接管。因此，對于高可用性系統(tǒng)，實際配置max_mds時，最好比系統(tǒng)中MDS的總數(shù)少一個。
但如果你確信你的MDS不會出現(xiàn)故障，可以通過以下設(shè)置來通知ceph不需要備用MDS，否則會出現(xiàn)insufficient standby daemons available告警信息：
$ ceph fs set <fs> standby_count_wanted 0
2.3、綁定集群目錄到指定的MDS上
在多主MDS配置中，這些MDS可以在集群中均勻的動態(tài)的分配元數(shù)據(jù)負載。但還有一種情況就是我們需要把某個集群目錄綁定到一個指定MDS上，只讓這個MDS來負責這個目錄的元數(shù)據(jù)處理，比如我有兩個集群目錄dir01、dir02，然后我配置MDS01、MDS02為雙主模式同時工作，這樣我就可以讓MDS01負責dir01的元數(shù)據(jù)，MDS02負責dir02的元數(shù)據(jù)。這樣配置好處顯而易見。
配置方式：
$ setfattr -n ceph.dir.pin -v {mds-rank} {path-to-dir}
{mds-rank}從0開始，ceph -s命令輸出里面可以看到：
# node01節(jié)點上mds-rank為0，node02節(jié)點上的mds-rank為1
mds: ceph-2/2/2 up {0=node01=up:active,1=node02=up:active}
{path-to-dir}表示需要綁定到指定mds-rank上的集群目錄。
這樣就配置好了，步驟比較簡單。
2.4、還原為單主MDS
恢復(fù)也就兩步：
# 設(shè)置max_mds
$ ceph fs set max_mds 1
# 刪除不需要的rank
$ ceph mds deactivate {cephfs-name}:{mds-rank}
注意所有的rank，包括要被移除的rank，必須先激活。這意味著必須至少有max_mds個MDS守護進程可用。
在一段時間內(nèi)，停用的rank將首先進入停止狀態(tài)，同時將其負責的元數(shù)據(jù)傳遞給剩余的活動的MDS。這個階段可能需要幾秒鐘到幾分鐘。
