HBase學(xué)習(xí) - HRegionServer啟動(dòng)

本文基于hbase-1.3.0源碼

1. 前言

本文主要介紹hbase里region server的創(chuàng)建和啟動(dòng)過(guò)程中所做的工作，是一個(gè)純粹的記錄性工作。

2. HRegionServer啟動(dòng)過(guò)程

HRegionServer和HMaster是hbase集群里兩個(gè)主要角色，類(lèi)HRegionServer帶有main方法，可以通過(guò)命令行啟動(dòng)。main方法通過(guò)new HRegionServerCommandLine(regionServerClass).doMain(args); 首先創(chuàng)建HRegionServer實(shí)例，然后調(diào)用其start完成啟動(dòng)。此外還實(shí)現(xiàn)Runnable接口，start方法調(diào)用run運(yùn)行HRegionServer。下面主要講述調(diào)用構(gòu)造函數(shù)的過(guò)程，以及run所做的工作。

2.1 HRegionServer的構(gòu)造方法

構(gòu)造方法原型如下:

public HRegionServer(Configuration conf, CoordinatedStateManager csm){...}
參數(shù)：

  1. conf即配置信息, 即hbase-default.xml和hbase-site.xml內(nèi)容

  2. csm，分布式環(huán)境下用來(lái)協(xié)調(diào)集群所有server的狀態(tài)信息的，可以看看CoordinatedStateManager的繼承結(jié)構(gòu)以及主要方法:

    CoordinatedStateManager 
        ^
        |
BaseCoordinatedStateManager 
        ^
        |
ZkCoordinatedStateManager
  
下面是ZkCoordinatedStateManager的主要成員：
  protected ZooKeeperWatcher watcher;
  protected SplitTransactionCoordination splitTransactionCoordination;
  protected CloseRegionCoordination closeRegionCoordination;
  protected SplitLogWorkerCoordination splitLogWorkerCoordination;
  protected SplitLogManagerCoordination splitLogManagerCoordination;
  protected OpenRegionCoordination openRegionCoordination;
  protected RegionMergeCoordination regionMergeCoordination;

    主要是通過(guò)zookeeper來(lái)協(xié)調(diào)當(dāng)前server上region的打開(kāi)、關(guān)閉以及split或者merge等操作使得region狀態(tài)發(fā)生改變, 以便讓集群中其他的server包括master感知到當(dāng)前server的狀態(tài)。具體的原理將在region open 、close、split、merge原理里單獨(dú)闡述。

2. HRegionServer啟動(dòng)的服務(wù)

2.1 接口RegionServerServices

HRegionServer實(shí)現(xiàn)了接口RegionServerServices，接口方法定義了HRegionServer提供的部分服務(wù)（功能）

  1. WAL getWAL(HRegionInfo regionInfo) ， WAL（Write Ahead Log），一般一個(gè)regionserver只有一個(gè)wal。
  2. CompactionRequestor getCompactionRequester(), 獲得負(fù)責(zé)HFile的compact的線程，實(shí)際返回的實(shí)現(xiàn)類(lèi)CompactSplitThread負(fù)責(zé)compact和split兩項(xiàng)工作。
  3. FlushRequestor getFlushRequester()，獲得負(fù)責(zé)flush HMemStore的線程
  4. TableLockManager getTableLockManager()，基于zk實(shí)現(xiàn)的分布式的鎖管理器，用來(lái)鎖表的
  5. RegionServerQuotaManager getRegionServerQuotaManager()，資源配額管理器，可以基于user、table以及namespace粒度設(shè)置
  6. Leases getLeases()，實(shí)現(xiàn)了基于租約的機(jī)制, 這個(gè)返回的是一個(gè)lease管理器。
  7. ExecutorService getExecutorService()，ExecutorServices是一組線程池組成,這個(gè)不是jdk里的ExecutorService。HRegionServer上按照任務(wù)種類(lèi)的不同（比如close region，split region等等）創(chuàng)建多個(gè)線程池（Executor）的封裝，根據(jù)任務(wù)的種類(lèi)將任務(wù)派發(fā)到不同的線程池執(zhí)行。
  8. Set<TableName> getOnlineTables()， 獲取當(dāng)前RegionSever上可用的table（RegionServer擁有的只是table的一個(gè)分片，即region）
  9. registerService(Service service), 注冊(cè)Endpoint類(lèi)型的coprocessor。

2.1 構(gòu)造函數(shù)中初始化服務(wù)

  1. 創(chuàng)建Rpc服務(wù) - RSRpcServices

    rpc服務(wù)，HBase的rpc服務(wù)借助了protobuf實(shí)現(xiàn)。RSRpcServices主要實(shí)現(xiàn)了兩類(lèi)rpc服務(wù)：

    • ClientService（定義在client.proto），主要client端的scan，put這種操作,還包括coprocessor操作
    • AdminService（定義在admin.proto），主要是region的操作(open, close, split, merge等)

  2. 創(chuàng)建文件系統(tǒng) - HFileSystem

    封裝hadoop FileSystem, HFile、wal log等信息持久化在hdfs上

  3. 創(chuàng)建htable meta信息的幫助類(lèi)實(shí)例 - FSTableDescriptors

    從FileSystem中獲取表的meta信息以及將meta信息寫(xiě)到FileSystem

  4. 實(shí)例化 ExecutorService
    ExecutorService持有一系列根據(jù)名稱(chēng)劃分的線程池，master和hregionserver啟動(dòng)的服務(wù)不一樣，下面的枚舉了各自的服務(wù)：

public enum ExecutorType {

// Master executor services
MASTER_CLOSE_REGION        (1),
MASTER_OPEN_REGION         (2),
MASTER_SERVER_OPERATIONS   (3),
MASTER_TABLE_OPERATIONS    (4),
MASTER_RS_SHUTDOWN         (5),
MASTER_META_SERVER_OPERATIONS (6),
M_LOG_REPLAY_OPS           (7),

// RegionServer executor services
RS_OPEN_REGION             (20),
RS_OPEN_ROOT               (21),
RS_OPEN_META               (22),
RS_CLOSE_REGION            (23),
RS_CLOSE_ROOT              (24),
RS_CLOSE_META              (25),
RS_PARALLEL_SEEK           (26),
RS_LOG_REPLAY_OPS          (27),
RS_REGION_REPLICA_FLUSH_OPS  (28),
RS_COMPACTED_FILES_DISCHARGER (29),
RS_OPEN_PRIORITY_REGION    (30);

ExecutorType(int value) {}

/**
 * @param serverName
 * @return Conflation of the executor type and the passed servername.
 */
String getExecutorName(String serverName) {
  return this.toString() + "-" + serverName.replace("%", "%%");
}
}

  1. 初始化ZooKeeperWatcher，cluster環(huán)境下。諸如regionserver,metatable所在server地址，table lock，split/merge region等等信息都是通過(guò)zookeeper做全局狀態(tài)協(xié)調(diào)的。

    很多信息保存在zookeeper上，比如master地址；正在運(yùn)行的region servers；全局的分布式table lock實(shí)現(xiàn)；正在recovering狀態(tài)的region servers等等

  2. 調(diào)用putUpWebUI，通過(guò)jetty提供給用戶(hù)通過(guò)web訪問(wèn)region server的方式

    1. master提供web服務(wù)的host、port分別由hbase.master.info.bindAddress，hbase.master.info.port，默認(rèn)0.0.0.0:16010
    2. region server由hbase.regionserver.info.bindAddress, hbase.regionserver.info.port設(shè)置,默認(rèn)0.0.0.0:16030

  3. 創(chuàng)建LogRoller

    LogRoller負(fù)責(zé)當(dāng)前RegionServer上所有的wal的roll。LogRoller周期性的（由配置erver.logroll.period決定周期，默認(rèn)1小時(shí)）或者收到某個(gè)特定的wal log的roll request觸發(fā)log roll。

  4. 創(chuàng)建ChoreService

    ChoreService內(nèi)部封裝了scheduled executor線程池，負(fù)責(zé)周期性的調(diào)度一些任務(wù)，調(diào)度的對(duì)象需要實(shí)現(xiàn)接口ScheduleChore。其任務(wù)一般都是需要頻繁執(zhí)行且執(zhí)行時(shí)間不長(zhǎng)，例如：

    • 心跳檢測(cè)

    • 已經(jīng)compacted 的HFile的清理

    • 定期檢查是否需要compact

    • 垃圾文件清理等瑣碎而又頻繁的任務(wù)

2.2 HRegionServer start

  1. 調(diào)用preRegistrationInitialization在向HMaster注冊(cè)（所謂注冊(cè)并不是向HMaster發(fā)消息，而是在zookeeper的/hbase/rs路徑下創(chuàng)建包含當(dāng)前region server信息的節(jié)點(diǎn)，HMaster監(jiān)聽(tīng)這個(gè)節(jié)點(diǎn)）之前完成一些初始化工作，主要包括：

    • 調(diào)用setupClusterConnection，創(chuàng)建ClusterConnection，這和client創(chuàng)建的到HRegionServer的connection是兩個(gè)東西。ClusterConnection是HRegionServer到HRegionServer或者HMaster的訪問(wèn)

    • 健康檢查，如果配置了健康檢查(hbase.node.health.script.location配置不為空，)，將創(chuàng)建HealthCheckChore定期做健康檢查，方式是執(zhí)行l(wèi)ocation配置的位置的腳本來(lái)檢查當(dāng)前HRegionServer的健康狀況。

    • 調(diào)用initializeZooKeeper,主要做兩件事：

      1. 等待master起來(lái)，也就是監(jiān)控zookeeper的/hbase/master節(jié)點(diǎn)(這個(gè)節(jié)點(diǎn)的位置由zookeeper.znode.master配置)有數(shù)據(jù)(這個(gè)節(jié)點(diǎn)的數(shù)據(jù)由master設(shè)置為自己的host:port)；

      2. 等待整個(gè)集群起來(lái)，默認(rèn)監(jiān)控/hbase/running節(jié)點(diǎn)(由zookeeper.znode.state配置)，這個(gè)節(jié)點(diǎn)由master收集到各個(gè)region server狀態(tài)后設(shè)置成時(shí)間值。

    • 調(diào)用initializeThreads，會(huì)啟動(dòng)很多服務(wù)線程池，在HRegionServer和運(yùn)行期間提供服務(wù)，主要有：

      1. MemStoreFlusher，負(fù)責(zé)刷新region的memstore，MemStroeFlusher內(nèi)部持有一些FlushHandler(持續(xù)運(yùn)行的線程，個(gè)數(shù)由配置hbase.hstore.flusher.count指定，默認(rèn)2個(gè))來(lái)完成region的memstore的flush。

      2. CompactSplitThread，在它內(nèi)部創(chuàng)建四個(gè)線程池分別負(fù)責(zé)region的minor compact， major compact，split和merge。

        1. 一個(gè)RegionServer擁有的region上限由hbase.regionserver.regionSplitLimit指定，默認(rèn)1000
        2. major compact 線程數(shù)量由base.regionserver.thread.compaction.large指定，默認(rèn)1
        3. minor compact線程數(shù)量由hbase.regionserver.thread.compaction.small指定，默認(rèn)1
        4. split的線程數(shù)量由hbase.regionserver.thread.split指定，默認(rèn)1
        5. merge線程的數(shù)量由hbase.regionserver.thread.merge指定，默認(rèn)1

      3. CompactionChecker，周期性（周期由base.server.thread.wakefrequency指定，默認(rèn)10000ms）的檢查所有region的所有HStore看看是否需要compaction，需要compact的將通知compactSplitThread完成。這是ScheduledChore的子類(lèi)，因此會(huì)有ChoreService調(diào)度。

      4. PeriodicMemstoreFlusher，周期性檢查所有region的所有HMemStore是否需要flush。需要通知MemStoreFlusher完成。該類(lèi)也是ScheduledChore的子類(lèi)。

      5. Leases，相當(dāng)于租約管理器，管理所有租約（Lease）的申請(qǐng)、續(xù)租以及租約到期。Leases實(shí)現(xiàn)HasThread，是一個(gè)持續(xù)運(yùn)行的daemon線程，其運(yùn)行期間，檢查所有l(wèi)ease，對(duì)于過(guò)期的lease，激活lease.getListener().leaseExpired()

      6. MovedRegionsCleaner, 清理已經(jīng)移動(dòng)到其他region server或者刪除掉的不在屬于當(dāng)前region server管理的region。這也是一個(gè)ScheduledChore的子類(lèi)

      7. RegionServerQuotaManager, 管理namespace，user，table粒度的quota。關(guān)于Quota的機(jī)制會(huì)在XXXX細(xì)講。

      8. 創(chuàng)建RpcClient，默認(rèn)創(chuàng)建org.apache.hadoop.hbase.ipc.RpcClientImpl這個(gè)，這是直接使用java nio實(shí)現(xiàn)，可以通過(guò)hbase.rpc.client.impl配置修改rpcclient。

      9. 創(chuàng)建StorefileRefresherChore，繼承至ScheduledChore，負(fù)責(zé)當(dāng)前HRegionServer里secondary region（replica id不為0）的HStore和primary region的同步的（primary region的write操作會(huì)導(dǎo)致hfile發(fā)生改變，secondary需要報(bào)primary保持同步）。同步周期由hbase.regionserver.storefile.refresh.period設(shè)置，0表示不同步。

      10. 調(diào)用registerConfigurationObservers，內(nèi)部調(diào)用configurationManager

      的regist方法注冊(cè)一些需要在配置發(fā)送動(dòng)態(tài)修改時(shí)一并修改內(nèi)部狀態(tài)的服務(wù)，目前注冊(cè)了CompactSplitThread，RSRpcServices以及HRegionServer，也就是說(shuō)和這些服務(wù)相關(guān)的配置改變時(shí)，可以動(dòng)態(tài)的感知。

  2. 在zookeeper /hbase/rs路徑（子路徑rs由zookeeper.znode.rs設(shè)置）下創(chuàng)建當(dāng)前regionserver名的節(jié)點(diǎn),

  3. 創(chuàng)建RegionServerCoprocessorHost，創(chuàng)建時(shí)會(huì)根據(jù)用戶(hù)的配置文件選擇加載的coprocessor，CoprocessorHost提供coprocessor的執(zhí)行環(huán)境，除了RegionServerCoprocessorHost，還有RegionCoprocessorHost，WALCoprocessorHost，區(qū)別以及細(xì)節(jié)將在xxxx中詳解。RegionServer這一級(jí)容許coprocessor在region merge以及region server關(guān)閉前后做一些工作。

    1. 這一級(jí)的coprocessor通過(guò)hbase.coprocessor.enabled啟用；
    2. 配置hbase.coprocessor.regionserver.classes，設(shè)置為默認(rèn)加載的coprocessor，使用，分割類(lèi)。

  4. 調(diào)用reportForDuty()通知master，region server啟動(dòng)成功

    1. 在成功返回后創(chuàng)建WALFactory實(shí)例，啟動(dòng)各種服務(wù)線程（前面提到的ExecutorService）、各種前面提到的chore service、集群間復(fù)制service（）堆內(nèi)存管理器等等。
    2. 通過(guò)設(shè)置base.replication為true啟動(dòng)集群間wal log同步，默認(rèn)為true。

以上，HRegiongServer完成啟動(dòng)。

?

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容