GreatSQL 8.0.32-27 GA (2025-3-10)

file

版本信息

• 發(fā)布時(shí)間：2025年3月10日

• 版本號(hào)：8.0.32-27, Revision aa66a385910

• 下載鏈接：https://gitee.com/GreatSQL/GreatSQL/releases/tag/GreatSQL-8.0.32-27

• 用戶手冊(cè)：https://greatsql.cn/docs/8.0.32-27/

改進(jìn)提升

在GreatSQL 8.0.32-27版本中新增高性能并行查詢引擎Turbo，升級(jí)Rapid引擎內(nèi)核版本，優(yōu)化MGR大事務(wù)壓縮傳輸機(jī)制，完善greatdb_ha plugin，InnoDB Page支持Zstd壓縮，完善Oracle兼容特性，完善安全性等，并修復(fù)了幾個(gè)可能導(dǎo)致crash或丟數(shù)據(jù)的bug。

高可用

• 優(yōu)化了MGR大事務(wù)傳輸時(shí)壓縮超過(guò)限制的處理機(jī)制。

在MGR中有大事務(wù)超過(guò)group_replication_compression_threshold閾值時(shí)會(huì)進(jìn)行LZ4壓縮，但由于LZ4自身限制，可能導(dǎo)致壓縮失敗報(bào)錯(cuò)，事務(wù)執(zhí)行失敗，報(bào)告類似下面的錯(cuò)誤

[GCS] Gcs_packet's payload is too big. Only packets smaller than 2113929216 bytes can be compressed. Payload size is 2197817290

GreatSQL對(duì)此機(jī)制進(jìn)行調(diào)整優(yōu)化，實(shí)現(xiàn)以下兩點(diǎn)目標(biāo)：

1. 當(dāng)事務(wù)大小超過(guò)group_replication_compression_threshold閾值則啟動(dòng)壓縮。

2. 但當(dāng)事務(wù)大小超過(guò)LZ4壓縮限制時(shí)不再報(bào)錯(cuò)，改成繼續(xù)使用原始未壓縮的事務(wù)數(shù)據(jù)進(jìn)行傳輸，即類似設(shè)置group_replication_compression_threshold=0（不啟用壓縮）時(shí)的效果。

• 新增狀態(tài)變量Rpl_data_speed顯示當(dāng)前Binlog限速的狀態(tài)，可以通過(guò)執(zhí)行SHOW GLOBAL STATUS LIKE 'Rpl_data_speed'查看，例如

greatsql> SHOW GLOBAL STATUS LIKE 'Rpl%spee%';
+----------------+------------------+
| Variable_name  | Value            |
+----------------+------------------+
| Rpl_data_speed | async_rpl=100.00 |
+----------------+------------------+

表示當(dāng)前的Binlog讀取限速為100KB/s，更多詳細(xì)用法請(qǐng)參考：Binlog 讀取限速 https://greatsql.cn/docs/8.0.32-27/5-enhance/5-2-ha-binlog-speed-limit.html

• 在greatdb_ha plugin中，增加對(duì)參數(shù)greatdb_ha_port相應(yīng)的TCP端口進(jìn)行防御，避免用戶端發(fā)送非法指令后可能導(dǎo)致crash的風(fēng)險(xiǎn)。
• 修復(fù)了啟用greatdb_ha plugin時(shí)，可能因?yàn)長(zhǎng)inux系統(tǒng)函數(shù)FD_SET中當(dāng)遇到文件描述符超過(guò)1024時(shí)導(dǎo)致未定義行為而引發(fā)crash的問(wèn)題。
• 修復(fù)了greatdb_ha plugin中啟用VIP功能后，可能存在內(nèi)存泄漏風(fēng)險(xiǎn)的問(wèn)題。
• 修復(fù)了在主備兩套MGR集群間部署主從復(fù)制后，當(dāng)備用集群主節(jié)點(diǎn)意外宕機(jī)時(shí)，可能無(wú)法退出進(jìn)程的問(wèn)題。
• 修復(fù)了在主備兩套MGR集群間部署主從復(fù)制后，當(dāng)備用集群主節(jié)點(diǎn)執(zhí)行kill -19操作殺掉mysqld進(jìn)程，在故障恢復(fù)后，Slave節(jié)點(diǎn)上的sql_thread線程可能長(zhǎng)時(shí)間未能退出的問(wèn)題。

高性能

• 新增高性能并行查詢引擎Turbo，它通過(guò)內(nèi)嵌DuckDB，使GreatSQL具備多線程并發(fā)的向量化查詢功能，在實(shí)現(xiàn)指數(shù)級(jí)提升加速SQL查詢速度的同時(shí)，保持對(duì)GreatSQL生態(tài)系統(tǒng)的兼容性。相較于Rapid引擎，Turbo引擎不需要將數(shù)據(jù)加載到引擎中，而是在查詢過(guò)程中，直接并行抽取數(shù)據(jù)供Turbo引擎使用。

首先安裝Turbo引擎

greatsql> INSTALL PLUGIN turbo SONAME 'turbo.so';

就可以直接利用Turbo引擎大幅提升SQL查詢效率

greatsql> SELECT /*+ SET_VAR(turbo_enable=ON) SET_VAR(turbo_cost_threshold=0)*/ * FROM t1;

關(guān)于Turbo引擎更詳細(xì)的使用方法請(qǐng)參考：Turbo引擎 https://greatsql.cn/docs/8.0.32-27/5-enhance/5-1-highperf-turbo-engine.html

• 升級(jí)Rapid引擎內(nèi)核到正式GA版本，新版本在存儲(chǔ)格式穩(wěn)定性、查詢語(yǔ)義一致性等方面的重大突破，為用戶提供了強(qiáng)有力的穩(wěn)定性保證。注意，在新版本中采用新的文件存儲(chǔ)格式，和之前的版本不兼容，因此無(wú)法從GreatSQL 8.0.32-25或8.0.32-26版本直接平滑升級(jí)到GreatSQL 8.0.32-27，需要先刪除舊的Rapid引擎數(shù)據(jù)文件，再次執(zhí)行全量導(dǎo)入數(shù)據(jù)，重新啟動(dòng)增量導(dǎo)入任務(wù)。詳細(xì)升級(jí)方式請(qǐng)見(jiàn)下方：升級(jí)到 GreatSQL 8.0.32-27。
• 在新版本的Rapid引擎中，最大可使用并行邏輯CPU核數(shù)上限為4個(gè)，如果需要獲得更高并發(fā)性能，可以聯(lián)系我們提供解決方案。
• 修復(fù)了Rapid引擎中一次性刪除大批量數(shù)據(jù)后，查看增量導(dǎo)入任務(wù)進(jìn)度時(shí)，DELAY字段顯示不準(zhǔn)確的問(wèn)題。
• 修復(fù)了在存儲(chǔ)過(guò)程中使用EXPLAIN查看Rapid表執(zhí)行計(jì)劃時(shí)，顯示無(wú)法使用Rapid引擎實(shí)際上卻可以使用的錯(cuò)誤問(wèn)題。
• 修復(fù)Rapid引擎中未先完成一次全量導(dǎo)入任務(wù)，而是直接啟動(dòng)增量導(dǎo)入任務(wù)發(fā)生失敗報(bào)錯(cuò)后，重啟實(shí)例后無(wú)法正常啟動(dòng)的問(wèn)題。正常地，正確的做法是先完成一次全量導(dǎo)入后，再啟動(dòng)增量導(dǎo)入任務(wù)。
• 修復(fù)Rapid引擎參數(shù)rapid_worker_threads設(shè)置問(wèn)題。當(dāng)將其設(shè)置超過(guò)最大值后，再重新設(shè)置除默認(rèn)值之外的其他合法值都會(huì)報(bào)錯(cuò)，需要重新裝載Rapid引擎或重啟數(shù)據(jù)庫(kù)后才恢復(fù)正常。
• 移除Rapid引擎參數(shù)rapid_hash_table_memory_limit，不再使用。
• 讀取Rapid表數(shù)據(jù)時(shí)，error log中不再打印類似下方的冗余信息。

[Note] [MY-011825] [InnoDB] thread 62 handle range count: 34 total rows: 2449266
[Note] [MY-011825] [InnoDB] thread 63 handle range count: 21 total rows: 1648443
[Note] [MY-011825] [InnoDB] total fetch rows count: 150000000

• 修復(fù)Rapid引擎對(duì)表中存在虛擬列時(shí)的處理方案。在以前，當(dāng)表中存在虛擬列時(shí)，執(zhí)行ALTER TABLE ... SECONDARY_LOAD不會(huì)報(bào)錯(cuò)，但在執(zhí)行SELECT ... /*+ SET_VAR(use_secondary_engine=FORCED) */時(shí)會(huì)報(bào)錯(cuò)不支持。在新版本中，當(dāng)發(fā)現(xiàn)表中存在虛擬列時(shí)，執(zhí)行ALTER TABLE ... SECONDARY_LOAD直接報(bào)告下面的錯(cuò)誤表示不支持：

ERROR 3106 (HY000): 'Rapid engine' is not supported for generated columns.

• 在使用Rapid引擎時(shí)，如果出現(xiàn)不支持的數(shù)據(jù)類型，返回的錯(cuò)誤提示中增加更明確的錯(cuò)誤，如下例所示

greatsql> CREATE TABLE t1 (
  id int unsigned not null primary key,
  c1 int unsigned not null,
  c2 decimal(65,30) DEFAULT NULL
) SECONDARY_ENGINE=rapid;
Query OK, 0 rows affected (0.02 sec)

-- 下面的報(bào)錯(cuò)信息中，明確提示 c2 列的數(shù)據(jù)類型不支持
greatsql> ALTER TABLE t1 SECONDARY_LOAD;
ERROR 3877 (HY000): The field c2 type is not supported

高兼容

• 在 TO_DATE 函數(shù)中新增支持INTERVAL 'n' DAY運(yùn)算用法。例如

greatsql> SELECT TO_DATE('20250212','YYYYMMDD') + (INTERVAL '-1' DAY) AS LASTDAY FROM DUAL;
+---------------------+
| LASTDAY             |
+---------------------+
| 2025-02-11 00:00:00 |
+---------------------+

• 優(yōu)化TO_NUMBER函數(shù)在大數(shù)據(jù)量時(shí)的執(zhí)行效率，性能可提升數(shù)倍。
• 修復(fù)了REF CURSOR在執(zhí)行過(guò)程中表結(jié)構(gòu)發(fā)生變化時(shí)可能導(dǎo)致報(bào)錯(cuò)的問(wèn)題。
• 優(yōu)化動(dòng)態(tài)游標(biāo)內(nèi)存管理機(jī)制，在動(dòng)態(tài)游標(biāo)END LOOP執(zhí)行完后及時(shí)釋放內(nèi)存。
• 修復(fù)了當(dāng)源表為單行偽表時(shí)，MERGE INTO語(yǔ)句更新目標(biāo)表失敗，導(dǎo)致執(zhí)行結(jié)果和在Oracle中不一致的問(wèn)題。

高安全

• 修復(fù)最后登錄信息功能中由于未處理Binlog可能導(dǎo)致主從異常問(wèn)題。
• 修復(fù)審計(jì)日志入表功能中由于未處理Binlog可能導(dǎo)致主從異常問(wèn)題。
• 修復(fù)了審計(jì)日志入表功能中，安裝和卸載SQL腳本中前后函數(shù)名不一致問(wèn)題。
• 修復(fù)了在設(shè)置sql_log_bin=ON的時(shí)候，本應(yīng)該禁止修改審計(jì)日志表sys_audit.audit_log，卻可以更新修改的問(wèn)題。

其他

• InnoDB Page壓縮算法支持Zstd, 使得Page壓縮率進(jìn)一步得到提高，尤其是當(dāng)表中有大量重復(fù)字符類型數(shù)據(jù)時(shí)?？梢栽趧?chuàng)建新表時(shí)指定Page壓縮算法，例如

greatsql> CREATE TABLE `t1_zstd` (
  `id` int NOT NULL,
  `c1` varchar(20) NOT NULL,
  `c2` varchar(30) NOT NULL,
  `c3` datetime NOT NULL,
  `c4` varchar(30) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_c3` (`c3`)
) ENGINE=InnoDB COMPRESSION='zstd';

也可以執(zhí)行ALTER TABLE修改表的Page壓縮算法，例如

greatsql> ALTER TABLE t1 COMPRESSION='zstd';

更多關(guān)于InnoDB Page壓縮的使用方法請(qǐng)參考：InnoDB Page壓縮 https://greatsql.cn/docs/8.0.32-27/5-enhance/5-5-innodb-page-compression.html

缺陷修復(fù)

• 修復(fù)了特定情況下，執(zhí)行EXPLAIN FORMAT=TREE可能導(dǎo)致crash的問(wèn)題

  • 詳見(jiàn)：Issue#IAL5KK https://gitee.com/GreatSQL/GreatSQL/issues/IAL5KK

• 合并了MySQL 8.0.38中的bug fix，對(duì)應(yīng)bug id：

  • 36204344：https://dev.mysql.com/doc/relnotes/mysql/8.0/en/news-8-0-38.html

  • 36356279：https://dev.mysql.com/doc/relnotes/mysql/8.0/en/news-8-0-38.html

• 合并了針對(duì)特定情況下執(zhí)行ALTER TABLE可能導(dǎo)致丟失一行數(shù)據(jù)的問(wèn)題，合并了Percona團(tuán)隊(duì)提交的bug fix，對(duì)應(yīng)的bug id：

  • 113812 https://bugs.mysql.com/bug.php?id=113812

  • 115511 https://bugs.mysql.com/bug.php?id=115511

  • 115608 https://bugs.mysql.com/bug.php?id=115608

注意事項(xiàng)

升級(jí)/降級(jí)到 GreatSQL 8.0.32-27

升級(jí)到 GreatSQL 8.0.32-27

• 如果舊版本是GreatSQL 8.0.32-25或8.0.32-26，并且沒(méi)有使用Rapid引擎，則可以直接在原來(lái)的datadir基礎(chǔ)上，修改basedir后，原地（in-place）啟動(dòng) GreatSQL 8.0.32-27 后會(huì)完成自動(dòng)升級(jí)。
• 如果舊版本是 GreatSQL 8.0.32-25或8.0.32-26，并且已啟用Rapid引擎，這種情況下無(wú)法原地升級(jí)，需要卸載所有Rapid引擎表，刪除Rapid數(shù)據(jù)文件，之后才可以直接在原來(lái)的datadir基礎(chǔ)上，修改basedir后，原地（in-place）啟動(dòng)GreatSQL 8.0.32-27后會(huì)完成自動(dòng)升級(jí)。新版本實(shí)例啟動(dòng)后，對(duì)所有Rapid引擎表執(zhí)行ALTER TABLE SECONDARY_LOAD完成全量數(shù)據(jù)導(dǎo)入，再執(zhí)行SELECT START_SECONDARY_ENGINE_INCREMENT_LOAD_TASK()啟動(dòng)增量導(dǎo)入任務(wù)，完成Rapid引擎表升級(jí)工作。下面是一個(gè)升級(jí)參考過(guò)程：

1. 查詢并記錄所有Rapid引擎表

可以執(zhí)行下面的SQL，查詢當(dāng)前有哪些表使用了Rapid引擎：

greatsql> SELECT TABLE_SCHEMA, TABLE_NAME, TABLE_ROWS FROM information_schema.TABLES WHERE CREATE_OPTIONS LIKE '%Rapid%';
+--------------+----------------+------------+
| TABLE_SCHEMA | TABLE_NAME     | TABLE_ROWS |
+--------------+----------------+------------+
| tpch100g     | customer       |   14854987 |
| tpch100g     | lineitem       |  582868392 |
| tpch100g     | nation         |         25 |
| tpch100g     | orders         |  148492582 |
| tpch100g     | part           |   19943155 |
| tpch100g     | partsupp       |   79832625 |
| tpch100g     | region         |          5 |
| tpch100g     | supplier       |     989416 |
+--------------+----------------+------------+

2. 正常停止GreatSQL實(shí)例進(jìn)程

在停止GreatSQL實(shí)例進(jìn)程前，先修改innodb_fast_shutdown=0后再執(zhí)行SHUTDOWN停止實(shí)例

greatsql> SET GLOBAL innodb_fast_shutdown=0;
greatsql> SHUTDOWN;

3. 刪除舊的Rapid引擎數(shù)據(jù)文件

cd /data/GreatSQL && rm -f duckdb*

4. 修改my.cnf配置文件中的basedir參數(shù)，指向GreatSQL 8.0.32-27新版本

#my.cnf
[mysqld]
basedir=/usr/local/GreatSQL-8.0.32-27-Linux-glibc2.28-x86_64

并確保參數(shù)upgrade不是設(shè)置為NONE。

5. 啟動(dòng)GreatSQL 8.0.32-27新版本實(shí)例

systemctl start greatsql

6. 重新安裝Rapid引擎

greatsql> INSTALL PLUGIN rapid SONAME 'ha_rapid.so';

7. 對(duì)Rapid引擎表做一次全量數(shù)據(jù)導(dǎo)入

greatsql> ALTER TABLE test.t1 SECONDARY_LOAD;

小貼士：由于在升級(jí)前沒(méi)有去掉該表的SECONDARY_ENGINE=rapid屬性，所以無(wú)需重新設(shè)置。如果在升級(jí)前卸載所有Rapid引擎表，則需要重新設(shè)置。

8. 再次啟動(dòng)增量導(dǎo)入任務(wù)

greatsql> SELECT START_SECONDARY_ENGINE_INCREMENT_LOAD_TASK('test', 't1');

這就完成Rapid引擎表的升級(jí)操作了。

• 如果舊版本是GreatSQL 8.0.32-24、8.0.25-*、5.7.36-39等系列版本，則可以直接在原來(lái)的datadir基礎(chǔ)上，修改basedir后，原地（in-place）啟動(dòng)GreatSQL 8.0.32-27 后會(huì)完成自動(dòng)升級(jí)。
• 如果是MySQL 8.0.（<= 8.0.32 版本）、Percona Server 8.0.（<= 8.0.32 版本）等系列版本，則可以直接在原來(lái)的datadir基礎(chǔ)上，修改basedir后，原地（in-place）啟動(dòng) GreatSQL 8.0.32-27后會(huì)完成自動(dòng)升級(jí)。
• 如果是MySQL 8.0.（> 8.0.32 版本）、Percona Server 8.0.（> 8.0.32 版本）等系列版本，則需要利用邏輯備份方式導(dǎo)出數(shù)據(jù)，再導(dǎo)入的方式完成升級(jí)，不支持原地（in-place）升級(jí)到 GreatSQL 8.0.32-27。
• 如果是MySQL 5.7.（>= 5.7.23 版本）、Percona Server 5.7.（<= 5.7.23 版本）等系列版本，則可以直接在原來(lái)的datadir基礎(chǔ)上，修改basedir后，原地（in-place）啟動(dòng) GreatSQL 8.0.32-27后會(huì)完成自動(dòng)升級(jí)。

在以上幾個(gè)原地升級(jí)場(chǎng)景中，務(wù)必保證my.cnf中參數(shù)upgrade不能設(shè)置為NONE，可以設(shè)置為默認(rèn)的AUTO或FORCE。例如：

#my.cnf
[mysqld]
upgrade = AUTO

更多遷移升級(jí)方案請(qǐng)參考：遷移升級(jí) https://greatsql.cn/docs/8.0.32-27/7-migrate-and-upgrade/0-migrate-and-upgrade.html

降級(jí)到 GreatSQL 8.0.32-27

如果是要從 MySQL/Percona 8.0.32 之后的版本降級(jí)到 GreatSQL 8.0.32-27 版本，則需要采取邏輯備份 + 邏輯導(dǎo)入方式完成降級(jí)操作，并且在邏輯備份導(dǎo)入完成后的首次重啟時(shí)，務(wù)必設(shè)置 upgrade = FORCE 強(qiáng)制升級(jí)所有數(shù)據(jù)表，包括系統(tǒng)表。

降級(jí)過(guò)程操作大致如下所示：

1. 在高版本中邏輯備份全量數(shù)據(jù)

mysqldump -S/data/MySQL/mysql.sock -A --triggers --routines --events --single-transaction > /data/backup/fulldump.sql

2. 在GreatSQL 8.0.32-27版本環(huán)境中導(dǎo)入邏輯備份文件，完成邏輯恢復(fù)

mysql -S/data/GreatSQL/mysql.sock -f < /data/backup/fulldump.sql

3. 修改my.cnf，確保設(shè)置upgrade=FORCE

#my.cnf
[mysqld]
upgrade = FORCE

4. 重啟GreatSQL，降級(jí)完成

systemctl restart greatsql

重啟過(guò)程中，可以看到日志有類似下面的強(qiáng)制升級(jí)過(guò)程

[Note] [MY-013387] [Server] Upgrading system table data.
[Note] [MY-013385] [Server] Upgrading the sys schema.
[Note] [MY-013400] [Server] Upgrade of help tables started.
[Note] [MY-013400] [Server] Upgrade of help tables completed.
[Note] [MY-013394] [Server] Checking 'mysql' schema.
[Note] [MY-013394] [Server] Checking 'sys' schema.
[System] [MY-013381] [Server] Server upgrade from '80032' to '80032' completed.

如果不設(shè)置 upgrade = FORCE 強(qiáng)制升級(jí)所有表，有可能發(fā)生系統(tǒng)表 mysql.procs_priv 損壞錯(cuò)誤，在創(chuàng)建用戶時(shí)可能會(huì)報(bào)告類似下面的錯(cuò)誤：

greatsql> create user tpch identified by 'tpch';
ERROR 1728 (HY000): Cannot load from mysql.procs_priv. The table is probably corrupted

GreatSQL vs MySQL

GreatSQL 8.0.32-27 基于 Percona Server for MySQL 8.0.32 版本，它在 MySQL 8.0.32 基礎(chǔ)上做了大量的改進(jìn)和提升以及眾多新特性，詳情請(qǐng)見(jiàn)：Percona Server for MySQL feature comparison，這其中包括線程池、審計(jì)、數(shù)據(jù)脫敏等 MySQL 企業(yè)版才有的特性，以及 performance_schema 提升、information_schema 提升、性能和可擴(kuò)展性提升、用戶統(tǒng)計(jì)增強(qiáng)、PROCESSLIST 增強(qiáng)、Slow Log 增強(qiáng)等大量改進(jìn)和提升，這里不一一重復(fù)列出。

GreatSQL Release Notes

GreatSQL 8.0

• Changes in GreatSQL 8.0.32-26 (2024-08-05)
• Changes in GreatSQL 8.0.32-25 (2023-12-28)
• Changes in GreatSQL 8.0.32-24 (2023-6-5)
• Changes in GreatSQL 8.0.25-17 (2023-3-13)
• Changes in GreatSQL 8.0.25-16 (2022-5-16)
• Changes in GreatSQL 8.0.25-15 (2021-8-26)

GreatSQL 5.7

• Changes in GreatSQL 5.7.36-39 (2022-4-7)

Enjoy GreatSQL :)

關(guān)于 GreatSQL

GreatSQL是適用于金融級(jí)應(yīng)用的國(guó)內(nèi)自主開(kāi)源數(shù)據(jù)庫(kù)，具備高性能、高可靠、高易用性、高安全等多個(gè)核心特性，可以作為MySQL或Percona Server的可選替換，用于線上生產(chǎn)環(huán)境，且完全免費(fèi)并兼容MySQL或Percona Server。

相關(guān)鏈接： GreatSQL社區(qū) Gitee GitHub Bilibili

GreatSQL社區(qū)：

image

社區(qū)有獎(jiǎng)建議反饋： https://greatsql.cn/thread-54-1-1.html

社區(qū)博客有獎(jiǎng)?wù)鞲逶斍椋?/strong> https://greatsql.cn/thread-100-1-1.html