MySQL-分布式架構(gòu)-MyCAT

1. MyCAT基礎(chǔ)架構(gòu)圖

image.png

2. MySQL分布式架構(gòu)介紹

image.png

1.) schema拆分及業(yè)務(wù)分庫(kù)
2.) 垂直拆分-分庫(kù)分表
3.) 水平拆分-分片

3. 常見(jiàn) 企業(yè)代表產(chǎn)品

360 Atlas-Sharding
Alibaba cobar
Mycat
淘寶 TDDL
Heisenberg
Oceanus
Vitess
OneProxy
DRDS

4. MyCAT安裝

4.1 預(yù)先安裝Java運(yùn)行環(huán)境

yum install -y java

4.2 下載并解壓

http://dl.mycat.io/

4.3 配置環(huán)境變量并啟動(dòng)

vim /etc/profile
export PATH=軟件存放路徑路徑:$PATH
source  /etc/profile
mycat start      #啟動(dòng)
連接mycat
mysql -uroot -p123456 -h 127.0.0.1 -P8066      #: 用戶和密碼是默認(rèn)的

5. 讀寫分離配置文件及介紹

cd /application/mycat/conf
mv schema.xml schema.xml.bak
vim schema.xml 
<?xml version="1.0"?>  
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">  
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"> 
</schema>  
    <dataNode name="dn1" dataHost="localhost1" database= "wordpress" />  
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1"> 
        <heartbeat>select user()</heartbeat>  
    <writeHost host="db1" url="10.0.0.51:3307" user="root" password="123"> 
            <readHost host="db2" url="10.0.0.51:3309" user="root" password="123" /> 
    </writeHost> 
    </dataHost>  
</mycat:schema>
以上案例實(shí)現(xiàn)了1主1從的讀寫分離功能，寫操作落到主庫(kù)，讀操作落到從庫(kù).如果主庫(kù)宕機(jī)，從庫(kù)不能在繼續(xù)提供服務(wù)了。

5.1 邏輯庫(kù)：schema

<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"> 
</schema>  
schema name="TESTDB"      #: 邏輯庫(kù)名
dataNode="dn1"      #: 默認(rèn)分布名

5.2 數(shù)據(jù)節(jié)點(diǎn):datanode

<dataNode name="dn1" dataHost="localhost1" database= "world" />  
dataHost="localhost1"     #: 數(shù)據(jù)主機(jī)名  
 database= "world"       #: 實(shí)際庫(kù)名

5.3 數(shù)據(jù)主機(jī)：datahost(w和r)

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1"> 
        <heartbeat>select user()</heartbeat>  
    <writeHost host="db1" url="10.0.0.51:3307" user="root" password="123"> 
            <readHost host="db2" url="10.0.0.52:3309" user="root" password="123" /> 
    </writeHost> 
    </dataHost>

<dataHost name="localhost1"    #:上層定義的數(shù)據(jù)主機(jī)名 
maxCon="1000"      #: 最大并發(fā)數(shù)
 minCon="10"          #: mycat在啟動(dòng)之后，會(huì)在后端節(jié)點(diǎn)上自動(dòng)開(kāi)啟的連接線程
 
balance 
負(fù)載均衡類型，目前的取值有3種： 
1. balance="0", 不開(kāi)啟讀寫分離機(jī)制，所有讀操作都發(fā)送到當(dāng)前可用的writeHost上。 
2. balance="1"，全部的readHost與standby writeHost參與select語(yǔ)句的負(fù)載均衡，簡(jiǎn)單的說(shuō)，
  當(dāng)雙主雙從模式(M1->S1，M2->S2，并且M1與 M2互為主備)，正常情況下，M2,S1,S2都參與select語(yǔ)句的負(fù)載均衡。 
3. balance="2"，所有讀操作都隨機(jī)的在writeHost、readhost上分發(fā)。

writeType="0"
-1 表示不自動(dòng)切換 
1 默認(rèn)值，自動(dòng)切換 
2 基于MySQL主從同步的狀態(tài)決定是否切換 ，心跳語(yǔ)句為 show slave status 

 dbType="mysql" 
 dbDriver="native" 
switchType="1"> 
 select user     #:以這個(gè)已經(jīng)檢查主機(jī)
 writeHost host="db1"       #: 寫的節(jié)點(diǎn)主機(jī)名
url="10.0.0.51:3307"  #: 寫的節(jié)點(diǎn)IP和端口
user="root"      #用戶
 password="123"     #密碼
 readHost host="db2"
 url="10.0.0.52:3309" 
user="root" password="123"

6. 讀寫分離及高可用

<?xml version="1.0"?>  
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">  
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1"> 
</schema>  
    <dataNode name="sh1" dataHost="oldguo1" database= "world" />  
    <dataHost name="oldguo1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1"> 
        <heartbeat>select user()</heartbeat>  
    <writeHost host="db1" url="10.0.0.51:3307" user="root" password="123"> 
            <readHost host="db2" url="10.0.0.51:3309" user="root" password="123" /> 
    </writeHost> 
    <writeHost host="db3" url="10.0.0.52:3307" user="root" password="123"> 
            <readHost host="db4" url="10.0.0.52:3309" user="root" password="123" /> 
    </writeHost>        
    </dataHost>  
</mycat:schema>
真正的 writehost：負(fù)責(zé)寫操作的writehost  
standby  writeHost  ：和readhost一樣，只提供讀服務(wù)

當(dāng)寫節(jié)點(diǎn)宕機(jī)后，后面跟的readhost也不提供服務(wù)，這時(shí)候standby的writehost就提供寫服務(wù)，
后面跟的readhost提供讀服務(wù)

7. 垂直分表

把taobao庫(kù)里的user和order_t分不同的服務(wù)器儲(chǔ)存
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1">
        <table name="user" dataNode="sh1"/>
        <table name="order_t" dataNode="sh2"/>
</schema>
    <dataNode name="sh1" dataHost="oldguo1" database= "taobao" />
    <dataNode name="sh2" dataHost="oldguo2" database= "taobao" />
    <dataHost name="oldguo1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
    <writeHost host="db1" url="10.0.0.51:3307" user="root" password="123">
            <readHost host="db2" url="10.0.0.51:3309" user="root" password="123" />
    </writeHost>
    <writeHost host="db3" url="10.0.0.52:3307" user="root" password="123">
            <readHost host="db4" url="10.0.0.52:3309" user="root" password="123" />
    </writeHost>
    </dataHost>
    <dataHost name="oldguo2" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
    <writeHost host="db1" url="10.0.0.51:3308" user="root" password="123">
            <readHost host="db2" url="10.0.0.51:3310" user="root" password="123" />
    </writeHost>
    <writeHost host="db3" url="10.0.0.52:3308" user="root" password="123">
            <readHost host="db4" url="10.0.0.52:3310" user="root" password="123" />
    </writeHost>
    </dataHost>
</mycat:schema>

8 MyCAT核心特性——分片（水平拆分）

分片：對(duì)一個(gè)"bigtable"，比如說(shuō)t3表

(1)行數(shù)非常多，800w
(2)訪問(wèn)非常頻繁

分片的目的：
（1）將大數(shù)據(jù)量進(jìn)行分布存儲(chǔ)
（2）提供均衡的訪問(wèn)路由

分片策略：
范圍 range  800w  1-400w 400w01-800w
取模 mod    取余數(shù)
枚舉 
哈希 hash 
時(shí)間 流水

優(yōu)化關(guān)聯(lián)查詢
全局表
ER分片

8.1 根據(jù)range分片

比如說(shuō)t3表
(1)行數(shù)非常多，2000w（1-1000w:sh1   1000w01-2000w:sh2）
(2)訪問(wèn)非常頻繁，用戶訪問(wèn)較離散
mv schema.xml schema.xml.1  
1.) vim schema.xml
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1"> 
        <table name="t3" dataNode="sh1,sh2" rule="auto-sharding-long" />
</schema>  
    <dataNode name="sh1" dataHost="oldguo1" database= "taobao" /> 
    <dataNode name="sh2" dataHost="oldguo2" database= "taobao" />  

2.) vim rule.xml
<tableRule name="auto-sharding-long">
                <rule>
                        <columns>id</columns>
                        <algorithm>rang-long</algorithm>
                </rule>             
<function name="rang-long"
    class="io.mycat.route.function.AutoPartitionByLong">
    <property name="mapFile">autopartition-long.txt</property>
</function>
===================================         
3.) vim autopartition-long.txt
0-10=0      #0-10 之間的分到0 片里
11-20=1     #11-20 之間的分到 1 片里

注: 分片是以0開(kāi)始的

8.2 取模分片（mod-long）

取余分片方式：分片鍵（一個(gè)列）與節(jié)點(diǎn)數(shù)量進(jìn)行取余，得到余數(shù)，將數(shù)據(jù)寫入對(duì)應(yīng)節(jié)點(diǎn)
vim schema.xml
<table name="t4" dataNode="sh1,sh2" rule="mod-long" />
vim rule.xml
<property name="count">2</property>
注: property name="count">2  中的2 就是這個(gè)表要?jiǎng)澐值墓?jié)點(diǎn)數(shù)

8.3 枚舉分片

t5 表
id name telnum
1   bj   1212
2   sh   22222
3   bj   3333
4   sh   44444
5   bj   5555

sharding-by-intfile
1.) vim schema.xml
<table name="t5" dataNode="sh1,sh2" rule="sharding-by-intfile" />

2.) vim rule.xml
<tableRule name="sharding-by-intfile"> 
<rule> <columns>name</columns>  #: 以那一列做枚舉
<algorithm>hash-int</algorithm>    #:  枚舉列為字母或中文
</rule> 
</tableRule> 

3.) partition-hash-int.txt 配置： 
bj=0      #: bj分到0片里
sh=1     #: sh分到1片里
DEFAULT_NODE=1     #: 剩下的都分導(dǎo) 1片里
columns 標(biāo)識(shí)將要分片的表字段，algorithm 分片函數(shù)， 其中分片函數(shù)配置中，mapFile標(biāo)識(shí)配置文件名稱

8.4 Mycat全局表

a   b   c  d   
join 
t 
表t 和其他表都有關(guān)系
select  t1.name   ,t.x  from  t1 
join t 
select  t2.name   ,t.x  from  t2 
join t 
select  t3.name   ,t.x  from  t3 
join t 

使用場(chǎng)景：
如果你的業(yè)務(wù)中有些數(shù)據(jù)類似于數(shù)據(jù)字典，比如配置文件的配置，
常用業(yè)務(wù)的配置或者數(shù)據(jù)量不大很少變動(dòng)的表，這些表往往不是特別大，
而且大部分的業(yè)務(wù)場(chǎng)景都會(huì)用到，那么這種表適合于Mycat全局表，無(wú)須對(duì)數(shù)據(jù)進(jìn)行切分，
要在所有的分片上保存一份數(shù)據(jù)即可，Mycat 在Join操作中，業(yè)務(wù)表與全局表進(jìn)行Join聚合會(huì)優(yōu)先選擇相同分片內(nèi)的全局表join，
避免跨庫(kù)Join，在進(jìn)行數(shù)據(jù)插入操作時(shí)，mycat將把數(shù)據(jù)分發(fā)到全局表對(duì)應(yīng)的所有分片執(zhí)行，在進(jìn)行數(shù)據(jù)讀取時(shí)候?qū)?huì)隨機(jī)獲取一個(gè)節(jié)點(diǎn)讀取數(shù)據(jù)。 
就是t表 在每一個(gè)片上都存一份數(shù)據(jù)
vim schema.xml 
<table name="t_area" primaryKey="id"  type="global" dataNode="sh1,sh2" />

8.5. E-R分片

A    join     B     on  a.xx=b.yy
C   join      D
兩兩有管理的
為了防止跨分片join，可以使用E-R模式

<table name="A" dataNode="sh1,sh2" rule="mod-long"> 
       <childTable name="B" joinKey="yy" parentKey="xx" /> 
</table>
A為主表  B 的數(shù)據(jù)會(huì)根據(jù)A 儲(chǔ)存
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容