數(shù)據(jù)庫架構(gòu)學(xué)習(xí)(一)

一般Web服務(wù)器支持橫向擴(kuò)展,而數(shù)據(jù)庫服務(wù)器則不支持橫向擴(kuò)展(復(fù)制數(shù)據(jù)會破壞數(shù)據(jù)庫的一致性和完整性)。

缺少主從復(fù)制組件的情況下,需手動切換主從服務(wù)器,然后主從復(fù)制(主從復(fù)制時(shí)間較長)。

QPS:Queries Per Second意思是“每秒查詢率”,是一臺服務(wù)器每秒能夠相應(yīng)的查詢次數(shù),是對一個(gè)特定的查詢服務(wù)器在規(guī)定時(shí)間內(nèi)所處理流量多少的衡量標(biāo)準(zhǔn)。

TPS:是TransactionsPerSecond的縮寫,也就是事務(wù)數(shù)/秒。它是軟件測試結(jié)果的測量單位。一個(gè)事務(wù)是指一個(gè)客戶機(jī)向服務(wù)器發(fā)送請求然后服務(wù)器做出反應(yīng)的過程。客戶機(jī)在發(fā)送請求時(shí)開始計(jì)時(shí),收到服務(wù)器響應(yīng)后結(jié)束計(jì)時(shí),以此來計(jì)算使用的時(shí)間和完成的事務(wù)個(gè)數(shù)。

并發(fā)量:同一時(shí)間處理的請求的數(shù)量
同時(shí)連接數(shù):平時(shí)連接數(shù)遠(yuǎn)大于請求數(shù),大部分都處于sleeping狀態(tài)

磁盤IO:在數(shù)據(jù)中心中,服務(wù)器、網(wǎng)絡(luò)、存儲這三大核心組件構(gòu)建了整個(gè)數(shù)據(jù)中心IT基礎(chǔ)架構(gòu)。

注意:最好不要在主庫上進(jìn)行數(shù)據(jù)庫備份。


影響數(shù)據(jù)庫性能的因素:
1,sql查詢速度
2,網(wǎng)卡流量
3,服務(wù)器硬件
4,磁盤IO

超高的QPS和TPS

風(fēng)險(xiǎn): 效率低下的SQL
隨著訪問量的增長,會有很高的QPS和TPS,這個(gè)時(shí)候,每處理一個(gè)sql語句的時(shí)間就很重要。很多數(shù)據(jù)庫問題都是慢查詢導(dǎo)致。

大量的并發(fā)和超高的CPU使用率

風(fēng)險(xiǎn):
大量的并發(fā):數(shù)據(jù)庫連接數(shù)被占滿(max_connections默認(rèn)100,生產(chǎn)中改大一些)
連接數(shù)占滿,可能導(dǎo)致有用的數(shù)據(jù)庫連接無法連接。
超高的CPU使用率:因CPU資源耗盡而出現(xiàn)宕機(jī)

磁盤IO

風(fēng)險(xiǎn):磁盤IO性能突然下降(使用更快的磁盤設(shè)備)
其他大量消耗磁盤性能的計(jì)劃任務(wù)(調(diào)整計(jì)劃任務(wù),做好磁盤維護(hù))

網(wǎng)卡流量

風(fēng)險(xiǎn):網(wǎng)卡IO被占滿(1000Mb/8≈100MB)
如何避免無法連接數(shù)據(jù)庫的情況:
1,減少從服務(wù)器的數(shù)量(因?yàn)閺姆?wù)器都要從主服務(wù)器復(fù)制日志,從服務(wù)器越多,網(wǎng)絡(luò)流量越大)
2,進(jìn)行分級緩存
3,避免使用“select *”進(jìn)行查詢
4,分離業(yè)務(wù)網(wǎng)絡(luò)和服務(wù)器網(wǎng)絡(luò)


大表帶來的影響

什么樣的表稱之為大表:(相對而言)

  • 記錄函數(shù)巨大,單表超過千萬行
  • 表數(shù)據(jù)文件巨大,表數(shù)據(jù)文件超過10G

大表對查詢的影響:
慢查詢:很難在一定時(shí)間內(nèi)過濾出所需要的數(shù)據(jù)


大表對DDL操作的影響:(DDL操作都是現(xiàn)在主服務(wù)器進(jìn)行,然后通過日志復(fù)制,然后在從服務(wù)器運(yùn)行)
建立索引需要很長時(shí)間
風(fēng)險(xiǎn):
MySQL版本<5.5 建立索引會鎖表
MySQL版本>=5.5雖不會鎖表但會引起主從延遲

修改表結(jié)構(gòu)需要長時(shí)間鎖表
風(fēng)險(xiǎn):
會造成長時(shí)間的主從延遲
影響正常的數(shù)據(jù)操作(在主表上進(jìn)行的會其他操作會進(jìn)行阻塞)


如何處理數(shù)據(jù)庫中的大表

分庫分表把一張大表分成多個(gè)小表
難點(diǎn):
分表主鍵的選擇
分表后跨分區(qū)數(shù)據(jù)的查詢和統(tǒng)計(jì)

大表的歷史數(shù)據(jù)歸檔減少對前后端業(yè)務(wù)的影響
難點(diǎn):
歸檔時(shí)間點(diǎn)的選擇
如何進(jìn)行歸檔操作


大事務(wù)帶來的問題

什么是事務(wù)?

1,事務(wù)是數(shù)據(jù)庫系統(tǒng)區(qū)別于其他一切文件系統(tǒng)的重要特性之一
2,事務(wù)是一組具有原子性的SQL語句,或是一個(gè)獨(dú)立的工作單元。(一條SQL語句或多條SQL語句的組合)

事務(wù)的四個(gè)特性:

  • 原子性
  • 一致性
  • 隔離性
  • 持久性

事務(wù)的原子性(ATOMICITY)

定義:一個(gè)書屋必須被事務(wù)一個(gè)不可分割的最小工作單元,整個(gè)事務(wù)中的所有操作要么全部提交完成,要么全部失敗,對于一個(gè)事務(wù)來說,不可能只執(zhí)行其中的一部分操作

事務(wù)的一致性(CONSISTENCY)

定義:一致性是指事務(wù)將數(shù)據(jù)庫從一種一致性狀態(tài)轉(zhuǎn)換到另一種一致性狀態(tài),在事務(wù)開始之前和事務(wù)結(jié)束后數(shù)據(jù)庫中數(shù)據(jù)的完整性沒有被破壞。

事務(wù)的隔離性(ISOLATION)

定義:隔離性要求一個(gè)事務(wù)對數(shù)據(jù)庫中數(shù)據(jù)的修改,在未提交完成前對于其他事務(wù)是不可見的

SQL標(biāo)準(zhǔn)中定義的四種隔離級別
如何查看事務(wù)隔離級別:

mysql> show variables  like '%iso%';
+---------------+-----------------+
| Variable_name | Value           |
+---------------+-----------------+
| tx_isolation  | REPEATABLE-READ |
+---------------+-----------------+
1 row in set, 1 warning (0.40 sec)

如何設(shè)置事務(wù)隔離級別:

mysql> set session tx_isolation='REPEATABLE-READ';
Query OK, 0 rows affected (0.32 sec)
  • 未提交讀(READ UNCOMMITED)
    指的是即使一個(gè)事務(wù)未提交,但是對數(shù)據(jù)的修改對其他事務(wù)是能夠被可見的,未提交的數(shù)據(jù)被稱為臟數(shù)據(jù))

  • 已提交讀(READ COMMITED)
    指的是一個(gè)事務(wù)在未被提交時(shí),對其他事務(wù)是不可見的,只有被提交之后,才是可見的。

  • 可重復(fù)讀(REPEATABLE READ)
    指的是對同一個(gè)事務(wù)中的同一個(gè)數(shù)據(jù)在多次讀取的時(shí)候,結(jié)果是一樣的
    不同事務(wù)對同一張表進(jìn)行操作的時(shí)候,可重復(fù)讀是不能讀取其他事務(wù)對表進(jìn)行的操作,而已提交讀中是可以讀取其他事務(wù)對表的操作。

  • 可串行化(SERIALIZABLE)
    串行化會對每個(gè)讀取的行上都加鎖,會導(dǎo)致大量的鎖超時(shí)和鎖爭用問題。

隔離性由低到高,并發(fā)性是由高到低。
InnoDB的默認(rèn)隔離級別是可重復(fù)讀。

事務(wù)的持久性(DURABILITY)

定義:一旦事務(wù)被提交,則其所做的修改就會永遠(yuǎn)保存到數(shù)據(jù)庫中。此時(shí),即使系統(tǒng)崩潰,已提交的修改數(shù)據(jù)也不會丟失。

什么是大事務(wù)?

定義:運(yùn)行時(shí)間長比較長,操作的數(shù)據(jù)比較多的事務(wù)
風(fēng)險(xiǎn):
鎖定太多的數(shù)據(jù),造成大量的阻塞和鎖超時(shí)
回滾時(shí)間所需時(shí)間長,回滾的時(shí)候,數(shù)據(jù)同樣是處于鎖定狀態(tài)
執(zhí)行時(shí)間長,容易造成主從延遲

如何處理大事務(wù)?

1,避免一次處理太多的數(shù)據(jù)
2,移除不必要在事務(wù)中的SELECT操作(只有必要的寫操作)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容