之前看了餓了么團隊寫的一篇博客：等等！這兩個 Spring-RabbitMQ 的坑我們已經替你踩了。深受啟發(fā)，一定要取個能吸引讀者眼球的標題，當然除了響當當?shù)臉祟}以外，內容也要是干貨。為什么會想取這樣一個標題，因為看了理論上的慢查詢優(yōu)化，今天?。?！終于在生產上實戰(zhàn)了
(一)慢sql一
問題發(fā)現(xiàn)
將應用發(fā)布到生產環(huán)境后，前端頁面請求后臺API返回數(shù)據(jù)，發(fā)現(xiàn)至少需要6s。查看到慢sql：
復現(xiàn)慢sql
執(zhí)行sql：
select count(*) from sync_block_data
where unix_timestamp(sync_dt) >= 1539101010
AND unix_timestamp(sync_dt) <= 1539705810
查看耗時：
一共耗時為2658ms
查看執(zhí)行計劃：
explain select count(*) from sync_block_data
where unix_timestamp(sync_dt) >= 1539101010
AND unix_timestamp(sync_dt) <= 1539705810
執(zhí)行計劃結果：
優(yōu)化慢sql一
sync_dt的類型為datetime類型。換另外一種sql寫法，直接通過比較日期而不是通過時間戳進行比較。將sql中的時間戳轉化為日期，分別為2018-10-10 00:03:30和2018-10-17 00:03:30
執(zhí)行sql：
select count(*) from sync_block_data
where sync_dt >= "2018-10-10 00:03:30"
AND sync_dt <= "2018-10-17 00:03:30"
查看耗時：
一共耗時419毫秒，和慢查詢相比速度提升六倍多
查看執(zhí)行計劃：
explain select count(*) from sync_block_data
where sync_dt >= "2018-10-10 00:03:30"
AND sync_dt <= "2018-10-17 00:03:30"
執(zhí)行計劃結果：
訪問頁面，優(yōu)化完成后請求時間平均為900毫秒
執(zhí)行計劃中慢查詢和快查詢唯一的區(qū)別就是type不一樣：慢查詢中type為index，快查詢中type為range。
優(yōu)化慢查詢二
這條sql的業(yè)務邏輯為統(tǒng)計出最近七天該表的數(shù)據(jù)量，可以去掉右邊的小于等于
執(zhí)行sql：
select count(*) from sync_block_data
where sync_dt >= "2018-10-10 00:03:30"
查看耗時：
一共耗時275毫秒，又將查詢時間減少了一半
查看執(zhí)行計劃：
explain select count(*) from sync_block_data
where sync_dt >= "2018-10-10 00:03:30"
執(zhí)行計劃結果：
type仍是range。但是通過少比較一次將查詢速度提高一倍
優(yōu)化慢查詢三
新建一個bigint類型字段sync_dt_long存儲sync_dt的毫秒值，并在sync_dt_long字段上建立索引
測試環(huán)境下：
優(yōu)化慢查詢二sql
select count(*) from copy_sync_block_data
where sync_dt >="2018-10-10 13:15:02"
耗時為34毫秒
優(yōu)化慢查詢三sql
select count(*) from copy_sync_block_data
where sync_dt_long >= 1539148502916
耗時為22毫秒
測試環(huán)境中速度提升10毫秒左右
優(yōu)化慢查詢三sql測試小結：在InnoDB存儲引擎下，比較bigint的效率高于datetime
完成三步優(yōu)化以后生產環(huán)境中請求耗時：
速度又快了200毫秒左右。通過給查詢的數(shù)據(jù)加10s緩存，響應速度最快平均為20s
explain使用介紹
通過explain，可以查看sql語句的執(zhí)行情況（比如查詢的表，使用的索引以及mysql在表中找到所需行的方式等）
用explain查詢mysql查詢計劃的輸出參數(shù)有:
| 列名 | 說明 |
|---|---|
| id | 執(zhí)行編號，標識select所屬的行。如果在語句中沒子查詢或關聯(lián)查詢，只有唯一的select，每行都將顯示1。否則，內層的select語句一般會順序編號，對應于其在原始語句中的位置 |
| select_type | 顯示本行是簡單或復雜select。如果查詢有任何復雜的子查詢，則最外層標記為PRIMARY（DERIVED、UNION、UNION RESUlT） |
| table | 訪問引用哪個表（引用某個查詢，如“derived3”） |
| type | 數(shù)據(jù)訪問/讀取操作類型（ALL、index、range、ref、eq_ref、const/system、NULL） |
| possible_keys | 揭示哪一些索引可能有利于高效的查找 |
| key | 顯示mysql決定采用哪個索引來優(yōu)化查詢 |
| key_len | 顯示mysql在索引里使用的字節(jié)數(shù) |
| ref | 顯示了之前的表在key列記錄的索引中查找值所用的列或常量 |
| rows | 為了找到所需的行而需要讀取的行數(shù)，估算值，不精確。通過把所有rows列值相乘，可粗略估算整個查詢會檢查的行數(shù) |
| Extra | 額外信息，如using index、filesort等 |
重點關注type，type類型的不同竟然導致性能差六倍！??！
type顯示的是訪問類型，是較為重要的一個指標，結果值從好到壞依次是：
system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL ，一般來說，得保證查詢至少達到range級別，最好能達到ref。
| 類型 | 說明 |
|---|---|
| All | 最壞的情況,全表掃描 |
| index | 和全表掃描一樣。只是掃描表的時候按照索引次序進行而不是行。主要優(yōu)點就是避免了排序, 但是開銷仍然非常大。如在Extra列看到Using index，說明正在使用覆蓋索引，只掃描索引的數(shù)據(jù)，它比按索引次序全表掃描的開銷要小很多 |
| range | 范圍掃描，一個有限制的索引掃描。key 列顯示使用了哪個索引。當使用=、 <>、>、>=、<、<=、IS NULL、<=>、BETWEEN 或者 IN 操作符,用常量比較關鍵字列時,可以使用 range |
| ref | 一種索引訪問，它返回所有匹配某個單個值的行。此類索引訪問只有當使用非唯一性索引或唯一性索引非唯一性前綴時才會發(fā)生。這個類型跟eq_ref不同的是，它用在關聯(lián)操作只使用了索引的最左前綴，或者索引不是UNIQUE和PRIMARY KEY。ref可以用于使用=或<=>操作符的帶索引的列。 |
| eq_ref | 最多只返回一條符合條件的記錄。使用唯一性索引或主鍵查找時會發(fā)生 （高效） |
| const | 當確定最多只會有一行匹配的時候，MySQL優(yōu)化器會在查詢前讀取它而且只讀取一次，因此非?？?。當主鍵放入where子句時，mysql把這個查詢轉為一個常量（高效） |
| system | 這是const連接類型的一種特例，表僅有一行滿足條件。 |
| Null | 意味說mysql能在優(yōu)化階段分解查詢語句，在執(zhí)行階段甚至用不到訪問表或索引（高效） |
出現(xiàn)慢查詢的原因
在where子句中使用了函數(shù)操作
出現(xiàn)慢查詢的sql語句中使用了unix_timestamp函數(shù)統(tǒng)計出自'1970-01-01 00:00:00'的到當前時間的秒數(shù)差。導致索引全掃描統(tǒng)計出近七天的數(shù)據(jù)量的
解決方案
盡量避免在where子句中對字段進行函數(shù)操作，這將導致存儲引擎放棄使用索引而進行全表掃描。對于需要計算的值最好通過程序計算好傳入而不是在sql語句中做計算，比如這個sql中我們將當前的日期和七天前的日期計算好傳入
后記
這個問題當時在測試環(huán)境沒有發(fā)現(xiàn)，測試環(huán)境的請求速度還是可以的。沒有被發(fā)現(xiàn)可以歸結為數(shù)據(jù)量。生產數(shù)據(jù)量為百萬級別，測試環(huán)境數(shù)據(jù)量為萬級，數(shù)據(jù)量差50倍，數(shù)據(jù)量的增大把慢查詢的問題也放大了。
(二)慢sql二
因為線上出現(xiàn)了很明顯的請求響應慢的問題，又去看了項目中的其他sql，發(fā)現(xiàn)還有sql執(zhí)行的效率比較低
復現(xiàn)慢sql
執(zhí)行sql
select FROM_UNIXTIME(copyright_apply_time/1000,'%Y-%m-%d') point,count(1) nums
from resource_info where copyright_apply_time >= 1539336488355 and copyright_apply_time <= 1539941288355 group by point
查看耗時：
耗時為1123毫秒
查看執(zhí)行計劃：
explain select FROM_UNIXTIME(copyright_apply_time/1000,'%Y-%m-%d') point,count(1) nums
from resource_info where copyright_apply_time >= 1539336488355 and copyright_apply_time <= 1539941288355 group by point
執(zhí)行計劃結果：
索引是命中了，但是extra字段中出現(xiàn)了Using temporary和Using filesort
優(yōu)化慢sql一
group by實質是先排序后分組，也就是分組之前必排序。通過分組的時候禁止排序優(yōu)化sql
執(zhí)行sql：
select FROM_UNIXTIME(copyright_apply_time/1000,'%Y-%m-%d') point,count(1) nums
from resource_info where copyright_apply_time >= 1539336488355 and copyright_apply_time <= 1539941288355 group by point order by null
查看耗時：
一共耗時1068毫秒，提高100毫秒左右，效果并不是特別明顯
查看執(zhí)行計劃：
extra字段已經沒有Using filesort了，filesort表示通過對返回數(shù)據(jù)進行排序。所有不是通過索引直接返回排序結果的排序都是FileSort排序，說明優(yōu)化后通過索引直接返回排序結果
Using temporary依然存在，出現(xiàn)Using temporary表示查詢有使用臨時表, 一般出現(xiàn)于排序, 分組和多表join的情況, 查詢效率不高, 仍需要進行優(yōu)化，這里出現(xiàn)臨時表的原因是數(shù)據(jù)量過大使用了臨時表進行分組運算
優(yōu)化慢sql二
慢查詢的sql業(yè)務邏輯為根據(jù)時間段分類統(tǒng)計出條件范圍內各個時間段的數(shù)量
比如給定的條件范圍為2018-10-20~2018-10-27的時間戳，這條sql就會統(tǒng)計出2018-10-20～2018-10-27每天的數(shù)據(jù)增量?，F(xiàn)在優(yōu)化成一天一天查，分別查七次數(shù)據(jù)，去掉分組操作
select FROM_UNIXTIME(copyright_apply_time/1000,'%Y-%m-%d') point,count(1) nums
from resource_info where copyright_apply_time >= 1539855067355 and copyright_apply_time <= 1539941467355
查看耗時：
耗時為38毫秒，即使查7次所用時間也比1123毫秒少
查看執(zhí)行計劃：
extra字段中和慢查詢的extra相比少了Using temporary和Using filesort。完美
就這樣第一次經歷了真正的慢查詢以及慢查詢優(yōu)化，終于理論和實踐相結合了
