1.分頁查詢優(yōu)化

示例表:
CREATETABLE`employees`(
`id` int(11) NOT NULL AUTO_INCREMENT,
`name` varchar(24) NOT NULL DEFAULT '' COMMENT '姓名',
`age` int(11) NOT NULL DEFAULT '0' COMMENT '年齡',
`position` varchar(20) NOT NULL DEFAULT '' COMMENT '職位',
`hire_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '入職時間', PRIMARY KEY (`id`),
KEY `idx_name_age_position` (`name`,`age`,`position`) USING BTREE )ENGINE=InnoDBAUTO_INCREMENT=1DEFAULTCHARSET=utf8COMMENT='員工記錄表';
dropprocedureifexistsinsert_emp; delimiter;; createprocedureinsert_emp()
begin
declare i int; set i=1; while(i<=100000)do
insert into employees(name,age,position) values(CONCAT('zhuge',i),i,'dev');
set i=i+1; end while;
end;;
delimiter; callinsert_emp();

很多時候我們業(yè)務(wù)系統(tǒng)實(shí)現(xiàn)分頁功能可能會用如下sql實(shí)現(xiàn)
1 mysql>select*fromemployeeslimit10000,10;
表示從表 employees 中取出從 10001 行開始的 10 行記錄。看似只查詢了 10 條記錄，實(shí)際這條 SQL 是先讀取 10010 條記錄，然后拋棄前 10000 條記錄，然后讀到后面 10 條想要的數(shù)據(jù)。因此要查詢一張大表比較靠后的數(shù)據(jù)，執(zhí)行效率 是非常低的。

常見的分頁場景優(yōu)化技巧:

1、根據(jù)自增且連續(xù)的主鍵排序的分頁查詢

首先來看一個根據(jù)自增且連續(xù)主鍵排序的分頁查詢的例子:
mysql> select * from employees limit 90000,5;

image.png

查詢的結(jié)果是一致的。我們再對比一下執(zhí)行計(jì)劃:
mysql> EXPLAIN select * from employees limit 90000,5;

image.png

image.png

兩條 SQL 的結(jié)果并不一樣，因此，如果主鍵不連續(xù)，不能使用上面描述的優(yōu)化方法。
另外如果原 SQL 是 order by 非主鍵的字段，按照上面說的方法改寫會導(dǎo)致兩條 SQL 的結(jié)果不一致。所以這種改寫得滿 足以下兩個條件:
主鍵自增且連續(xù)
結(jié)果是按照主鍵排序的

2、根據(jù)非主鍵字段排序的分頁查詢

再看一個根據(jù)非主鍵字段排序的分頁查詢，SQL 如下:
mysql> select * from employees ORDER BY name limit 90000,5;

image.png

發(fā)現(xiàn)并沒有使用 name 字段的索引(key 字段對應(yīng)的值為 null)，具體原因上節(jié)課講過:掃描整個索引并查找到?jīng)]索引 的行(可能要遍歷多個索引樹)的成本比掃描全表的成本更高，所以優(yōu)化器放棄使用索引。 知道不走索引的原因，那么怎么優(yōu)化呢? 其實(shí)關(guān)鍵是讓排序時返回的字段盡可能少，所以可以讓排序和分頁操作先查出主鍵，然后根據(jù)主鍵查到對應(yīng)的記錄，SQL 改寫如下
mysql> select * from employees e inner join (select id from employees order by name limit 90000,5) ed on e.id = ed.id;

image.png

2.Join關(guān)聯(lián)查詢優(yōu)化

1 示例表:
2 CREATETABLE`t1`(
3 `id` int(11) NOT NULL AUTO_INCREMENT,
4 `a` int(11) DEFAULT NULL,
5 `b` int(11) DEFAULT NULL,
6 PRIMARY KEY (`id`),
7 KEY `idx_a` (`a`)
8 )ENGINE=InnoDBAUTO_INCREMENT=10001DEFAULTCHARSET=utf8;
9
10 create tablet 2 liket1;
11
12 往t1表插入1萬行記錄，往t2表插入100行記錄

mysql的表關(guān)聯(lián)常見有兩種算法
Nested-Loop Join 算法
Block Nested-Loop Join 算法

1、 嵌套循環(huán)連接 Nested-Loop Join(NLJ) 算法

一次一行循環(huán)地從第一張表(稱為驅(qū)動表)中讀取行，在這行數(shù)據(jù)中取到關(guān)聯(lián)字段，根據(jù)關(guān)聯(lián)字段在另一張表(被驅(qū)動 表)里取出滿足條件的行，然后取出兩張表的結(jié)果合集。
mysql> EXPLAIN select*from t1 inner join t2 on t1.a= t2.a;

image.png

從執(zhí)行計(jì)劃中可以看到這些信息:
驅(qū)動表是 t2，被驅(qū)動表是 t1。先執(zhí)行的就是驅(qū)動表(執(zhí)行計(jì)劃結(jié)果的id如果一樣則按從上到下順序執(zhí)行sql);優(yōu) 化器一般會優(yōu)先選擇小表做驅(qū)動表。所以使用 inner join 時，排在前面的表并不一定就是驅(qū)動表。
使用了 NLJ算法。一般 join 語句中，如果執(zhí)行計(jì)劃 Extra 中未出現(xiàn) Using join buffer 則表示使用的 join 算 法是 NLJ。
上面sql的大致流程如下:

1. 從表 t2 中讀取一行數(shù)據(jù);
2. 從第 1 步的數(shù)據(jù)中，取出關(guān)聯(lián)字段 a，到表 t1 中查找;
3. 取出表 t1 中滿足條件的行，跟 t2 中獲取到的結(jié)果合并，作為結(jié)果返回給客戶端; 4. 重復(fù)上面 3 步。
   整個過程會讀取 t2 表的所有數(shù)據(jù)(掃描100行)，然后遍歷這每行數(shù)據(jù)中字段 a 的值，根據(jù) t2 表中 a 的值索引掃描 t1 表 中的對應(yīng)行(掃描100次 t1 表的索引，1次掃描可以認(rèn)為最終只掃描 t1 表一行完整數(shù)據(jù)，也就是總共 t1 表也掃描了100 行)。因此整個過程掃描了 200 行。 如果被驅(qū)動表的關(guān)聯(lián)字段沒索引，使用NLJ算法性能會比較低(下面有詳細(xì)解釋)，mysql會選擇Block Nested-Loop Join 算法。

2.基于塊的嵌套循環(huán)連接 Block Nested-Loop Join(BNL)算法

把驅(qū)動表的數(shù)據(jù)讀入到 join_buffer 中，然后掃描被驅(qū)動表，把被驅(qū)動表每一行取出來跟 join_buffer 中的數(shù)據(jù)做對比。 mysql>EXPLAIN select*from t1 inner join t2 on t1.b= t2.b;

image.png

Extra 中 的Using join buffer (Block Nested Loop)說明該關(guān)聯(lián)查詢使用的是 BNL 算法。 上面sql的大致流程如下:

1. 把 t2 的所有數(shù)據(jù)放入到 join_buffer 中
2. 把表 t1 中每一行取出來，跟 join_buffer 中的數(shù)據(jù)做對比
3. 返回滿足 join 條件的數(shù)據(jù)
   整個過程對表 t1 和 t2 都做了一次全表掃描，因此掃描的總行數(shù)為10000(表 t1 的數(shù)據(jù)總量) + 100(表 t2 的數(shù)據(jù)總量) = 10100。并且 join_buffer 里的數(shù)據(jù)是無序的，因此對表 t1 中的每一行，都要做 100 次判斷，所以內(nèi)存中的判斷次數(shù)是 100 * 10000= 100 萬次。
   被驅(qū)動表的關(guān)聯(lián)字段沒索引為什么要選擇使用 BNL 算法而不使用 Nested-Loop Join 呢? 如果上面第二條sql使用 Nested-Loop Join，那么掃描行數(shù)為 100 * 10000 = 100萬次，這個是磁盤掃描。
   很顯然，用BNL磁盤掃描次數(shù)少很多，相比于磁盤掃描，BNL的內(nèi)存計(jì)算會快得多。 因此MySQL對于被驅(qū)動表的關(guān)聯(lián)字段沒索引的關(guān)聯(lián)查詢，一般都會使用 BNL 算法。如果有索引一般選擇 NLJ 算法，有 索引的情況下 NLJ 算法比 BNL算法性能更高
   對于關(guān)聯(lián)sql的優(yōu)化
   關(guān)聯(lián)字段加索引，讓mysql做join操作時盡量選擇NLJ算法 小標(biāo)驅(qū)動大表，寫多表連接sql時如果明確知道哪張表是小表可以用straight_join寫法固定連接驅(qū)動方式，省去
   mysql優(yōu)化器自己判斷的時間
   straight_join解釋:straight_join功能同join類似，但能讓左邊的表來驅(qū)動右邊的表，能改表優(yōu)化器對于聯(lián)表查詢的執(zhí) 行順序。
   比如:select * from t2 straight_join t1 on t2.a = t1.a; 代表制定mysql選著 t2 表作為驅(qū)動表。
   straight_join只適用于inner join，并不適用于left join，right join。(因?yàn)閘eft join，right join已經(jīng)代表指 定了表的執(zhí)行順序)
   盡可能讓優(yōu)化器去判斷，因?yàn)榇蟛糠智闆r下mysql優(yōu)化器是比人要聰明的。使用straight_join一定要慎重，因 為部分情況下人為指定的執(zhí)行順序并不一定會比優(yōu)化引擎要靠譜。

in和exsits優(yōu)化 原則:小表驅(qū)動大表，即小的數(shù)據(jù)集驅(qū)動大的數(shù)據(jù)集 in:當(dāng)B表的數(shù)據(jù)集小于A表的數(shù)據(jù)集時，in優(yōu)于exists
exists:當(dāng)A表的數(shù)據(jù)集小于B表的數(shù)據(jù)集時，exists優(yōu)于in 將主查詢A的數(shù)據(jù)，放到子查詢B中做條件驗(yàn)證，根據(jù)驗(yàn)證結(jié)果(true或false)來決定主查詢的數(shù)據(jù)是否保留
1、EXISTS (subquery)只返回TRUE或FALSE,因此子查詢中的SELECT * 也可以用SELECT 1替換,官方說法是實(shí)際執(zhí)行時會 忽略SELECT清單,因此沒有區(qū)別
2、EXISTS子查詢的實(shí)際執(zhí)行過程可能經(jīng)過了優(yōu)化而不是我們理解上的逐條對比 3、EXISTS子查詢往往也可以用JOIN來代替，何種最優(yōu)需要具體問題具體分析

3.count(*)查詢優(yōu)化

mysql> set global query_cache_size=0;
mysql> set global query_cache_type=0;
mysql> EXPLAIN select count(1) from employees; mysql> EXPLAIN select count(id) from employees;
mysql> EXPLAIN select count(name) from employees; mysql> EXPLAIN select count(*) from employees;
四個sql的執(zhí)行計(jì)劃一樣，說明這四個sql執(zhí)行效率應(yīng)該差不多，區(qū)別在于根據(jù)某個字段count不會統(tǒng)計(jì)字段為null值的數(shù) 據(jù)行 為什么mysql最終選擇輔助索引而不是主鍵聚集索引?因?yàn)槎壦饕鄬χ麈I索引存儲數(shù)據(jù)更少，檢索性能應(yīng)該更高

image.png