MySQL之binlog日志、undo日志、redo日志

一、MySQL常用的幾種日志

MySQL主要包含以下幾種日志:

  • 錯誤日志
  • 查詢?nèi)罩?/li>
  • 慢查詢?nèi)罩?/li>
  • 事務(wù)日志 [undo日志(回滾日志)、redo日志(重做日志)]
  • 二進(jìn)制日志(binlog日志)

本章主要介紹binlog日志、undo日志、redo日志

二、binlog日志

1. 什么是binlog?

MySQL的基本架構(gòu)這篇文章中,我們分享了MySQL的基礎(chǔ)架構(gòu),其中,binlog日志屬于Server層的日志,只能用于歸檔,沒有carsh-safe能力。

MySQL的二進(jìn)制日志可以說是MySQL最重要的日志了,它記錄了所有的DDL和DML(除了數(shù)據(jù)查詢語句)語句,以事件形式記錄,還包含語句所執(zhí)行的消耗的時間,MySQL的二進(jìn)制日志是事務(wù)安全型的。

2. binlog的作用

  • 主從備份:MySQL Replication在Master端開啟binlog,Mster把它的二進(jìn)制日志傳遞給slaves來達(dá)到主從數(shù)據(jù)一致的目的。

  • 數(shù)據(jù)恢復(fù):通過使用mysqlbinlog工具來使恢復(fù)數(shù)據(jù)。

3. binlog的日志格式

  • 語句(statement):默認(rèn)的記錄格式,每一條會修改數(shù)據(jù)的sql都會記錄在binlog中
    優(yōu)點(diǎn):不需要記錄每一行的變化,減少了binlog日志量,節(jié)約了IO,提高性能。(相比row能節(jié)約多少性能與日志量,這個取決于應(yīng)用的SQL情況,正常同一條記錄修改或者插入row格式所產(chǎn)生的日志量還小于Statement產(chǎn)生的日志量,但是考慮到如果帶條件的update操作,以及整表刪除,alter表等操作,ROW格式會產(chǎn)生大量日志,因此在考慮是否使用ROW格式日志時應(yīng)該跟據(jù)應(yīng)用的實(shí)際情況,其所產(chǎn)生的日志量會增加多少,以及帶來的IO性能問題。)
    缺點(diǎn):由于記錄的只是執(zhí)行語句,為了這些語句能在slave上正確運(yùn)行,因此還必須記錄每條語句在執(zhí)行的時候的一些相關(guān)信息,以保證所有語句能在slave得到和在master端執(zhí)行時候相同 的結(jié)果。另外mysql 的復(fù)制,像一些特定函數(shù)功能,slave可與master上要保持一致會有很多相關(guān)問題(如sleep()函數(shù), last_insert_id(),以及user-defined functions(udf)會出現(xiàn)問題).
    使用以下函數(shù)的語句也無法被復(fù)制:
    LOAD_FILE()
    UUID()
    USER()
    FOUND_ROWS()
    SYSDATE() (除非啟動時啟用了 --sysdate-is-now 選項(xiàng))
    同時在INSERT ...SELECT 會產(chǎn)生比 RBR 更多的行級鎖
  • 行(row):不記錄sql語句上下文相關(guān)信息,僅保存哪條記錄被修改
    優(yōu)點(diǎn): binlog中可以不記錄執(zhí)行的sql語句的上下文相關(guān)的信息,僅需要記錄那一條記錄被修改成什么了。所以rowlevel的日志內(nèi)容會非常清楚的記錄下每一行數(shù)據(jù)修改的細(xì)節(jié)。而且不會出現(xiàn)某些特定情況下的存儲過程,或function,以及trigger的調(diào)用和觸發(fā)無法被正確復(fù)制的問題
    缺點(diǎn):所有的執(zhí)行的語句當(dāng)記錄到日志中的時候,都將以每行記錄的修改來記錄,這樣可能會產(chǎn)生大量的日志內(nèi)容,比如一條update語句,修改多條記錄,則binlog中每一條修改都會有記錄,這樣造成binlog日志量會很大,特別是當(dāng)執(zhí)行alter table之類的語句的時候,由于表結(jié)構(gòu)修改,每條記錄都發(fā)生改變,那么該表每一條記錄都會記錄到日志中。

  • 混合模式(mixed):是以上兩種level的混合使用。
    一般的語句修改使用statment格式保存binlog,如一些函數(shù),statement無法完成主從復(fù)制的操作,則采用row格式保存binlog,MySQL會根據(jù)執(zhí)行的每一條具體的sql語句來區(qū)分對待記錄的日志形式,也就是在Statement和Row之間選擇一種.新版本的MySQL中隊row level模式也被做了優(yōu)化,并不是所有的修改都會以row level來記錄,像遇到表結(jié)構(gòu)變更的時候就會以statement模式來記錄。至于update或者delete等修改數(shù)據(jù)的語句,還是會記錄所有行的變更。
    Mixed日志說明:
    在slave日志同步過程中,對于使用now這樣的時間函數(shù),MIXED日志格式,會在日志中產(chǎn)生對應(yīng)的unix_timestamp()*1000的時間字符串,slave在完成同步時,取用的是sqlEvent發(fā)生的時間來保證數(shù)據(jù)的準(zhǔn)確性。另外對于一些功能性函數(shù)slave能完成相應(yīng)的數(shù)據(jù)同步,而對于上面指定的一些類似于UDF函數(shù),導(dǎo)致Slave無法知曉的情況,則會采用ROW格式存儲這些Binlog,以保證產(chǎn)生的Binlog可以供Slave完成數(shù)據(jù)同步。

三、redo日志

1. 什么是redo日志?

  • redo log叫做重做日志,是用來實(shí)現(xiàn)事務(wù)的持久性。

  • 該日志文件由兩部分組成:重做日志緩沖(redo log buffer)以及重做日志文件(redo log),前者是在內(nèi)存中,后者在磁盤中。

  • 當(dāng)事務(wù)提交之后會把所有修改信息都會存到該日志中。

  • 是InnoDB引擎獨(dú)有的日志,屬于存儲引擎層日志

  • redo log的大小是固定的,如下圖:


說明:
write pos是當(dāng)前記錄的位置,一邊寫一邊后移,寫到末尾又從頭開始
check point是當(dāng)前要擦除的位置,同樣也是往后移動并且循環(huán),擦除記錄,先把日志更新到磁盤中

假設(shè)有兩張表,如下圖:


現(xiàn)在要從銀行卡賬戶轉(zhuǎn)400塊到理財賬戶中,事務(wù)過程如下:

start transaction;
select balance from bank where name="zhangsan";
// 生成 重做日志 balance=600
update bank set balance = balance - 400; 
// 生成 重做日志 amount=400
update finance set amount = amount + 400;
commit;

上述事務(wù)流程圖如下:


事務(wù)流程圖

2. redo log 有什么作用?

mysql 為了提升性能不會把每次的修改都實(shí)時同步到磁盤,而是會先存到Boffer Pool(緩沖池)里頭,把這個當(dāng)作緩存來用。然后使用后臺線程去做緩沖池和磁盤之間的同步。

問題:
但隨之二來的問題是,如果還沒來的及同步就發(fā)生宕機(jī)或斷電怎么辦?上面圖中紅色的操作還沒來得及執(zhí)行,這樣會導(dǎo)致丟失部分已提交事務(wù)的修改信息!

解決方法:
引入了redo log來記錄已成功提交事務(wù)的修改信息,并且會把redo log持久化到磁盤,系統(tǒng)重啟之后在讀取redo log恢復(fù)最新數(shù)據(jù)。

四、undo日志

1. 什么是undo日志?

  • undo log 叫做回滾日志,用于記錄數(shù)據(jù)被修改前的信息。

  • 正好跟前面所說的重做日志所記錄的相反,重做日志記錄數(shù)據(jù)被修改后的信息,undo log主要記錄的是數(shù)據(jù)的邏輯變化,為了在發(fā)生錯誤時回滾之前的操作,需要將之前的操作都記錄下來,然后在發(fā)生錯誤時才可以回滾。

還用上面那兩張表,如下圖:

每次寫入數(shù)據(jù)或者修改數(shù)據(jù)之前都會把修改前的信息記錄到 undo log。

2. undo log 有什么作用?

undo log 記錄事務(wù)修改之前版本的數(shù)據(jù)信息,因此假如由于系統(tǒng)錯誤或者rollback操作而回滾的話可以根據(jù)undo log的信息來進(jìn)行回滾到?jīng)]被修改前的狀態(tài)。

五、一條更新語句的執(zhí)行流程(日志兩段提交)

通過日志兩階段提交,可以保證redo log和bin log的邏輯一致

六、redo log跟bin log的區(qū)別

  • redo log是InnoDB特有的;
    binlog是Server層實(shí)現(xiàn)的,所有存儲引擎都可以使用

  • redo log是物理日志,記錄“某個數(shù)據(jù)頁上的修改”;
    binlog是邏輯日志,記錄語句的原始邏輯

  • redo log是循環(huán)寫的,空間固定;
    binlog是可以追加寫入的,不會覆蓋以前的日志

參考資料

Mysql數(shù)據(jù)庫之Binlog日志使用總結(jié)
MySQL的binlog日志
MySQL學(xué)習(xí)筆記 - 1 - 基本架構(gòu)與日志兩階段提交
Mysql事務(wù)實(shí)現(xiàn)原理

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容