副本雖然能夠提高數(shù)據(jù)的可用性，降低丟失風(fēng)險(xiǎn)，但是每臺(tái)服務(wù)器實(shí)際上必須容納全量數(shù)據(jù)，對(duì)數(shù)據(jù)的橫向擴(kuò)容沒(méi)有解決。

要解決數(shù)據(jù)水平切分的問(wèn)題，需要引入分片的概念。通過(guò)分片把一份完整的數(shù)據(jù)進(jìn)行切分，不同的分片分布到不同的節(jié)點(diǎn)上，再通過(guò) Distributed 表引擎把數(shù)據(jù)拼接起來(lái)一同使用。

Distributed 表引擎本身不存儲(chǔ)數(shù)據(jù)，有點(diǎn)類似于 MyCat，成為一種中間件，通過(guò)分布式邏輯表來(lái)寫(xiě)入、分發(fā)、路由來(lái)操作多臺(tái)節(jié)點(diǎn)不同分片的分布式數(shù)據(jù)。

注意：ClickHouse 的集群是表級(jí)別的，實(shí)際企業(yè)中，大部分做了高可用，但是沒(méi)有用分片，避免降低查詢性能以及操作集群的復(fù)雜性。

集群規(guī)劃

以下是一個(gè) 3 分片 2 副本共 6 個(gè)節(jié)點(diǎn)

寫(xiě)入過(guò)程

s代表分片，r代表副本.internal_replication(內(nèi)部復(fù)制)，為 false 就是非內(nèi)部復(fù)制，hdp1 不止要寫(xiě)道 s1r1 還要給 d1r2 寫(xiě)一次；為 true 是內(nèi)部復(fù)制，讓 s1r1 和 s1r2 之間內(nèi)部同步。該參數(shù)推薦為 true

讀取過(guò)程

配置步驟

用三臺(tái)機(jī)器來(lái)搭建一個(gè)集群，haddop103，haddop104，hadoop113，搭建得結(jié)構(gòu)如下圖

以上是一個(gè) 2分片，分片1有2個(gè)副本，分片2有1個(gè)副本。因?yàn)閏lickhouse本身的原因，沒(méi)辦法讓副本互相擁有。

配置分片文件

外部文件配置，新建 shard.xml 在 /etc/clickhouse-server/config.d/ 下，注意配置分片的存儲(chǔ)位置的host是不能重復(fù)的，也就意味著不能把分片相互寫(xiě)。以下先改的是 103 服務(wù)器。

<?xml version="1.0"?>
<yandex>
  <remote_servers>
    <!-- 集群名稱-->
    <gmall_cluster> 
      <!--集群的第1個(gè)分片-->
      <shard> 
        <internal_replication>true</internal_replication>
        <!-- 分片1，副本1 -->
        <replica>
          <host>10.240.30.103</host>
          <port>9000</port>
        </replica>
        <!-- 分片1，副本2 -->
        <replica>
          <host>10.240.30.104</host>
          <port>9000</port>
        </replica>
      </shard>
      <!--集群的第2個(gè)分片-->
      <shard> 
        <internal_replication>true</internal_replication>
          <!-- 副本往113寫(xiě)一份-->
          <replica> 
            <host>10.240.30.113</host>
            <port>9000</port>
          </replica>
      </shard>
    </gmall_cluster>
  </remote_servers>
  <!-- zookeeper 集群 -->
  <zookeeper-servers>
    <node index="1">
      <host>10.240.30.113</host>
      <port>2181</port>
    </node>
  </zookeeper-servers>
  <!-- 分片和副本命名 -->
  <macros>
    <!-- 第1個(gè)分片 -->
    <shard>01</shard>
    <!-- 第1個(gè)分片，第1個(gè)副本 -->
    <replica>rep_1_1</replica>
  </macros>
</yandex>

修改所創(chuàng)建文件的權(quán)限，一般我們都是root操作的要改成 clickhouse

chown clickhouse:clickhouse shard.xml

到 /etc/clickhouse-server/config.xml 中增加

<zookeeper incl="zookeeper-servers" optional="true" />
<include_from>/etc/clickhouse-server/config.d/shard.xml</include_from>

把配置分發(fā)到其他 ck 種，并修改配置文件 shard.xml 文件，以及權(quán)限配置等。

# 104
  <!-- 分片和副本命名 -->
  <macros>
    <!-- 第1個(gè)分片 -->
    <shard>01</shard>
    <!-- 第1個(gè)分片，第2個(gè)副本 -->
    <replica>rep_1_2</replica>
  </macros>
# 113
  <!-- 分片和副本命名 -->
  <macros>
    <!-- 第2個(gè)分片 -->
    <shard>02</shard>
    <!-- 第2個(gè)分片，第1個(gè)副本 -->
    <replica>rep_2_1</replica>
  </macros>

重新啟動(dòng) ck 集群，然后用客戶端連接進(jìn)去，查看這個(gè)集群是否被加進(jìn)去

show clusters;

在啟動(dòng)第三個(gè)集群的時(shí)候一直報(bào)錯(cuò)，但不影響使用。
2021.11.02 19:52:37.521614 [ 40814 ] {} <Error> ServerErrorHandler: Code: 101, e.displayText() = DB::NetException: Unexpected packet from client, Stack trace (when copying this message, always include the lines below):
如果誰(shuí)遇到并解決了，希望在這里說(shuō)下。

建表

create table st_order_mt on cluster gmall_cluster (
 id UInt32,
 sku_id String,
 total_amount Decimal(16,2),
 create_time Datetime
) engine
=ReplicatedMergeTree('/clickhouse/tables/{shard}/st_order_mt','{replica}')
 partition by toYYYYMMDD(create_time)
 primary key (id)
 order by (id,sku_id);

• 建表會(huì)自動(dòng)同步到其他ck上
• on cluster 關(guān)鍵詞固定的，后面跟配 shard.xml 置文件里面的集群名稱
• ReplicatedMergeTree 副本引擎里面的 {shard} 和 {replica} 會(huì)從<macros>讀取

DB::Exception: There are two exactly the same ClickHouse instances
意思是你的配置里有兩個(gè)相同的實(shí)例，可以檢查配置的 remote_servers 里分片是否有相同 host，ck不允許有相同host，因?yàn)椴辉试S互相存有分片副本。

成功會(huì)顯示如下信息，并可以在其他服務(wù)器上查詢到所創(chuàng)建的表

┌─host──────────┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐
│ 10.240.30.113 │ 9000 │      0 │       │                   2 │                0 │
│ 10.240.30.103 │ 9000 │      0 │       │                   1 │                0 │
│ 10.240.30.104 │ 9000 │      0 │       │                   0 │                0 │
└───────────────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘

刪除集群表

刪除集群表語(yǔ)法

drop table default.st_order_mt ON CLUSTER gmall_cluster;

在我們刪除本地表和分布式表后，立即重建是沒(méi)有問(wèn)題的。唯一有問(wèn)題的就是復(fù)制表，因?yàn)閺?fù)制表需要在zookeeper上建立一個(gè)路徑，存放相關(guān)數(shù)據(jù)。clickhouse默認(rèn)的庫(kù)引擎是原子數(shù)據(jù)庫(kù)引擎，刪除 Atomic 數(shù)據(jù)庫(kù)中的表后，它不會(huì)立即刪除，而是會(huì)在480秒后刪除。由下面這個(gè)參數(shù)控制：

<database_atomic_delay_before_drop_table_sec>480</database_atomic_delay_before_drop_table_sec>

其他解決方案:

• 使用普通數(shù)據(jù)庫(kù)而不是原子數(shù)據(jù)庫(kù)。 create database … Engine=Ordinary.
• 使用uniq ZK路徑。{uuid}/clickhouse/tables/{shard}-{uuid}/
• 減少 database_atomic_delay_before_drop_table_sec = 0

創(chuàng)建分布式表

create table st_order_mt_all2 on cluster gmall_cluster
(
 id UInt32,
 sku_id String,
 total_amount Decimal(16,2),
 create_time Datetime
) engine = Distributed(gmall_cluster,default, st_order_mt,hiveHash(sku_id));

• on cluster 關(guān)鍵詞固定的，后面跟配 shard.xml 置文件里面的集群名稱
• Distributed(集群名稱,庫(kù)名,本地表名,分片鍵)，分片鍵必須是整形數(shù)字，所以用 hiveHash 函數(shù)轉(zhuǎn)換，也可以rand()

插入數(shù)據(jù)

insert into st_order_mt_all2 values
(201,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(202,'sku_002',2000.00,'2020-06-01 12:00:00'),
(203,'sku_004',2500.00,'2020-06-01 12:00:00'),
(204,'sku_002',2000.00,'2020-06-01 12:00:00'),
(205,'sku_003',600.00,'2020-06-02 12:00:00');

分布式表不存入數(shù)據(jù)，插入的數(shù)據(jù)都是給本地表，也就是創(chuàng)建分布式表之前所創(chuàng)建的表插入數(shù)據(jù)。