1、檢測服務器的下線狀態(tài)

在默認情況下，Sentinel 會以每秒一次的頻率向所有與它創(chuàng)建了命令連接的實例（包括主服務器、從服務器、其他 Sentinel 在內(nèi)）發(fā)送 ping 命令，并根據(jù)實例對 ping 命令的回復來判斷實例是否在線，當一個實例在指定的時長中連續(xù)向 Sentinel 發(fā)送無效回復時，Sentinel 會將這個實例判斷為主觀下線。

當 Sentinel 將一個主服務器判斷為主觀下線時，它會向同樣監(jiān)視這個主服務器的其他 Sentinel 進行詢問，看它們是否同意這個主服務器已經(jīng)進入主觀下線狀態(tài)。

當 Sentinel 收集到足夠多的主觀下線投票之后，它會將主服務器判斷為客觀下線，并發(fā)起一次針對主服務器的故障轉(zhuǎn)移操作。

實例對 ping 命令的回復可以分為以下兩種情況：

• 有效回復：實例返回 +pong、-loading、-masterdown 三種回復的其中一種。
• 無效回復：實例返回除 +pong、-loading、-masterdown 三種回復之外的其他回復，或者在指定時限內(nèi)沒有返回任何回復。

1、檢測主觀下線狀態(tài)

down-after-milliseconds 選項（主觀下線時長 選項）

Sentinel 配置文件中的 down-after-milliseconds 選項指定了 Sentinel 判斷實例進入主觀下線所需的時間長度。

如果一個實例在 down-after-milliseconds 毫秒內(nèi)，連續(xù)向 Sentinel 返回無效回復，那么 Sentinel 就會將該實例標記為主觀下線。修改這個實例所對應的實例結構，在結構的 flags 屬性中打開 SRI_S_DOWN 標識，以此來表示這個實例已經(jīng)進入主觀下線狀態(tài)。

down-after-milliseconds 選項的作用范圍

用戶設置的 down-after-milliseconds 選項的值，不僅會被 Sentinel 用來判斷主服務器的主觀下線狀態(tài)，還會被用于判斷主服務器屬下的所有從服務器，以及所有同樣監(jiān)視這個主服務器的其他 Sentinel 的主觀下線狀態(tài)。

2、檢測客觀下線狀態(tài)

當 Sentinel 將一個主服務器判斷為主觀下線之后，為了確認這個主服務器是否真的下線了，它會向同樣監(jiān)視這個主服務器的其他 Sentinel 進行詢問，看它們是否也認為主服務器已經(jīng)進入了下線狀態(tài)（可以是主觀下線或者客觀下線）。

當 Sentinel 從其他 Sentinel 那里接收到足夠數(shù)量的已下線判斷之后，Sentinel 就會將主服務器判定為客觀下線，并對主服務器執(zhí)行故障轉(zhuǎn)移操作。

客觀下線狀態(tài)的判斷條件：當認為主服務器已經(jīng)進入下線狀態(tài)的 Sentinel 的數(shù)量，超過 Sentinel 配置中設置的 quorum 參數(shù)的值，那么該 Sentinel 就會認為主服務器已經(jīng)進入客觀下線狀態(tài)。

檢測客觀下線的具體流程：

源 Sentinel 發(fā)送命令：Sentinel 使用 sentinel is-master-down-by-addr <ip> <port> <current_epoch> <runid> 命令詢問其他 Sentinel 是否同意主服務器已下線。

目標 Sentinel 接收命令：當一個 Sentinel（目標 Sentinel）接收到另一個 Sentinel（源 Sentinel） 發(fā)來的該命令時，目標 Sentinel 會分析并取出命令請求中包含的各個參數(shù)，并根據(jù)其中的主服務器 IP 和端口號，檢查主服務器是否已下線，然后向源 Sentinel 返回一條包含三個參數(shù)的 MultiBulk 回復作為該命令的回復。

• down_state：返回目標 Sentinel 對主服務器的檢查結果，1 代表主服務器已下線，0 代表主服務器未下線
• leader_runid：可以是 * 符號或者目標 Sentinel 的局部領頭 Sentinel 的運行 ID。*符號代表命令僅僅用于檢測主服務器的下線狀態(tài)，而局部領頭 Sentinel 的運行 ID 則用于選舉領頭 Sentinel
• leader_epoch：目標 Sentinel 的局部領頭 Sentinel 的配置紀元，用于選舉領頭 Sentinel。僅在 leader_ runid 的值不為 * 時有效，如果 leader_ runid 的值為 *，那么 leader_ epoch 總為 0

源 Sentinel 接收命令的回復：根據(jù)其他 Sentinel 對該命令的回復，Sentinel 將統(tǒng)計其他 Sentinel 同意主服務器已下線的數(shù)量，當這一數(shù)量達到配置指定的判斷客觀下線所需的數(shù)量時，Sentinel 就會將該實例標記為客觀下線。修改這個實例所對應的實例結構，在結構的 flags 屬性中打開 SRI_O_DOWN 標識，以此來表示這個實例已經(jīng)進入客觀下線狀態(tài)。

Redis 檢測客觀下線狀態(tài) / 選舉領頭 Sentinel 的命令：sentinel is-master-down-by-addr <ip> <port> <current_epoch> <runid>

• 參數(shù) ip：被 Sentinel 判斷為主觀下線的主服務器的 IP 地址
• 參數(shù) port：被 Sentinel 判斷為主觀下線的主服務器的端口號
• 參數(shù) current_epoch：Sentinel 當前的配置紀元，用于選舉領頭 Sentinel
• 參數(shù) runid：該參數(shù)的值可以是 * 符號或者 Sentinel 的運行 ID。* 符號代表命令僅僅用于檢測主服務器的客觀下線狀態(tài)，而 Sentinel 的運行 ID 則用于選舉領頭 Sentinel

2、選舉領頭 Sentinel

當一個主服務器被判斷為客觀下線時，監(jiān)視這個下線主服務器的各個 Sentinel 會進行協(xié)商，選舉出一個領頭 Sentinel，并由領頭 Sentinel 對下線主服務器執(zhí)行故障轉(zhuǎn)移操作。

Sentinel 系統(tǒng)選舉領頭 Sentinel 的方法是對 Raft 算法的領頭選舉方法的實現(xiàn)。

選舉領頭 Sentinel 的規(guī)則

Redis 選舉領頭 Sentinel 的規(guī)則：過半數(shù)原則

每個發(fā)現(xiàn)主服務器進入客觀下線的 Sentinel 都會要求其他 Sentinel 將自己設置為局部領頭 Sentinel。在一個配置紀元里面，所有 Sentinel 都只有一次將某個 Sentinel 設置為局部領頭 Sentinel 的機會，并且局部領頭一旦設置，在這個配置紀元里面就不能再更改。

配置紀元實際上就是一個計數(shù)器，并沒有什么特別的。

每次進行領頭 Sentinel 選舉之后，不論選舉是否成功，所有 Sentinel 的配置紀元（configuration epoch）的值都會自增一次。

Sentinel 設置局部領頭 Sentinel 的規(guī)則是先到先得：最先向目標 Sentinel 發(fā)送設置要求的源 Sentinel 將成為目標 Sentinel 的局部領頭 Sentinel，而之后接收到的所有設置要求都會被目標 Sentinel 拒絕。

• 如果有某個 Sentinel 被半數(shù)以上的 Sentinel 設置成了局部領頭 Sentinel，那么這個 Sentinel 成為領頭 Sentinel。
• 如果在給定時限內(nèi)，沒有一個 Sentinel 被選舉為領頭 Sentinel，那么各個 Sentinel 將在一段時間之后再次進行選舉，直到選出領頭 Sentinel 為止。

因為領頭 Sentinel 的產(chǎn)生需要半數(shù)以上 Sentinel 的支持，并且每個 Sentinel 在每個配置紀元里面只能設置一次局部領頭 Sentinel，所以在一個配置紀元里面，只會出現(xiàn)一個領頭 Sentinel。

選舉領頭 Sentinel 的命令

Redis 檢測客觀下線狀態(tài) / 選舉領頭 Sentinel 的命令：sentinel is-master-down-by-addr <ip> <port> <current_epoch> <runid>

• 參數(shù) ip：被 Sentinel 判斷為主觀下線的主服務器的 IP 地址
• 參數(shù) port：被 Sentinel 判斷為主觀下線的主服務器的端口號
• 參數(shù) current_epoch：Sentinel 當前的配置紀元，用于選舉領頭 Sentinel
• 參數(shù) runid：該參數(shù)的值可以是 * 符號或者 Sentinel 的運行 ID。* 符號代表命令僅僅用于檢測主服務器的客觀下線狀態(tài)，而 Sentinel 的運行 ID 則用于選舉領頭 Sentinel

源 Sentinel 發(fā)送命令：當一個 Sentinel（源 Sentinel）向另一個 Sentinel（目標 Sentinel）發(fā)送該命令，并且命令中的 runid 參數(shù)不是 * 符號而是源 Sentinel 的運行 ID 時，這表示源 Sentinel 要求目標 Sentinel 將前者設置為后者的局部領頭 Sentinel。

目標 Sentinel 接收命令：目標 Sentinel 在接收到sentinel is-master-down-by-addr <ip> <port> <current_epoch> <runid>之后，將向源 Sentinel 返回一條命令回復，回復中的 leader_runid 參數(shù)和 leader_epoch 參數(shù)分別記錄了目標 Sentinel 的局部領頭 Sentinel 的運行 ID 和 配置紀元。

源 Sentinel 接收命令的回復：源 Sentinel 在接收到目標 Sentinel 返回的命令回復之后，會檢查回復中 leader_epoch 參數(shù)的值和自己的配置紀元是否相同，如果相同的話，那么源 Sentinel 繼續(xù)取出回復中的 leader_runid 參數(shù)，如果 leader_runid 參數(shù)的值和源 Sentinel 的運行 ID 一致，那么表示目標 Sentinel 將源 Sentinel 設置成了局部領頭 Sentinel。

3、故障轉(zhuǎn)移

在選舉產(chǎn)生出領頭 Sentinel 之后，領頭 Sentinel 將對已下線的主服務器執(zhí)行故障轉(zhuǎn)移操作，該操作包含以下三個步驟：

1. 選出新的主服務器：在已下線主服務器屬下的所有從服務器里面，挑選出一個從服務器，并將其轉(zhuǎn)換為主服務器。
2. 修改從服務器的復制目標：讓已下線主服務器屬下的所有從服務器改為復制新的主服務器。
3. 將舊的主服務器變?yōu)閺姆掌?/strong>：將已下線主服務器設置為新的主服務器的從服務器，當這個舊的主服務器重新上線時，它就會成為新的主服務器的從服務器。