來自公眾號：小數(shù)志
作者：luanhz

導讀：本文對MySQL中幾種常用的模糊搜索方式進行了介紹，包括LIKE通配符、RegExp正則匹配、內置字符串函數(shù)以及全文索引，最后給出了性能對比。

image

01 引言

MySQL根據(jù)不同的應用場景，支持的模糊搜索方式有多種，例如應用最廣泛的可能是Like匹配和RegExp正則匹配，二者雖然用法和原理都很相似，但實際上匹配原則卻不盡相同，其中Like要求模式串與整個目標字段完全匹配才檢索該記錄，而RegExp則是要求目標字段包含模式串即可。

對于簡單的判斷模式串是否存在類型的模糊搜索，應用MySQL內置函數(shù)即可實現(xiàn)，例如Instr()、Locate()、Position()等。

當然，提到MySQL查詢性能就不得不提到索引，對于字段模糊查詢需求，我們也可以考慮添加全文索引(Fulltext)。

注：本文所用MySQL版本8.0.19，可視化工具Navicat Primium。

02 4種模糊查詢?yōu)榱吮阌诿枋龊蜏y試不同模糊查詢方式結果，首先給出一個簡單的測試用數(shù)據(jù)表tests如下：

image

其中，tests表僅含有一個名為words的字段，并對該字段添加全文索引。表中共有6條記錄。

image

• Like

Like算作MySQL中的謂詞，其應用與is、=、>和<等符號用法類似。Like主要支持兩種通配符，分別是"_"和"%"，其中前者代表匹配1個任意字符，常用于充當占位符；而后者代表匹配0個或多個任意字符。從某種意義上講，Like可看作是一個精簡的正則表達式功能。

例如，在如上表中查找所有以"hello"開頭的記錄，則其SQL語句為：

SELECT words FROM tests WHERE words LIKE 'hello%';

查詢結果：

image

如果想查找所有以"hello"開頭且至少含有6個字符的記錄，則可簡單修改SQL語句如下：

SELECT words FROM tests WHERE words LIKE 'hello_%';

查詢結果：

image

另外：當在Like模式字段中，若不包含任何"_"和"%"通配符，則等價于"="，表示精確匹配，例如查詢語句……Like "hello"，則僅返回hello一條記錄；還可在Like前加限定詞Not，表示結果取反。

• RegExp

正則表達式具有龐大而豐富的語法，MySQL語法中支持絕大部分正則表達式功能，幾乎可以滿足所有需求。本文不過多展開正則表達式相關介紹，僅在Like的基礎上，簡單介紹其與Like模糊搜索方式的區(qū)別。

如前所述，Like匹配原則是要求模式串與整個目標字段匹配時，才返回該條記錄；而RegExp中則是當目標字段包含模式串時即返回該條記錄。例如如下SQL語句將返回所有包含"hello"的記錄：

SELECT words FROM tests WHERE words REGEXP 'hello';

而在Like中這樣的寫法僅返回記錄="hello"的記錄。為了限定正則表達式以某個模式串開頭或者結尾，可以通過添加"^"和"$"標識符來限定，例如仍然搜索以"hello"開頭的目標字段，則其SQL語句為：

SELECT words FROM tests WHERE words REGEXP '^hello';

• 內置函數(shù)

對于包含某些特定模式串的模糊搜索，可以通過MySQL內置函數(shù)實現(xiàn)?？梢酝瓿蛇@一功能的函數(shù)包括Instr()、Locate()和Position()等，其功能語法很相近，均是返回子串在字符串中的索引，且索引下標從1開始，當子串不存在是返回0。需要注意的是三個函數(shù)中子串和字符串的先后順序是不一致的。例如以下語句均成功檢索，且返回目標索引1

SELECT INSTR("hello,world", 'hello');
SELECT LOCATE('hello', "hello,world");
SELECT POSITION('hello' in "hello, world"); 

應用以上3個內置函數(shù)，搜索上述測試表中包含"hello"的記錄，則相應SQL語句為：

SELECT words  FROM tests WHERE INSTR(words, 'hello');
SELECT words  FROM tests WHERE LOCATE('hello', words);
SELECT words  FROM tests WHERE POSITION('hello' in words);

• 全文索引

拋開索引談查詢性能，都是耍流氓！

全文索引是MySQL中索引的一種，曾經(jīng)僅在引擎為MyISAM的表中支持，從5.6版本開始在InnoDB中也開始支持全文索引，支持的字段格式包括CHAR、VARCHAR和TEXT。在如上已經(jīng)添加了全文索引的tests表中，仍然查詢包含"hello"的記錄，應用全文索引查詢的SQL語句為：

SELECT words FROM tests WHERE MATCH(words) against('hello');

實際上，MATCH(words) against('hello')返回的是字段words對目標字符"hello"的匹配程度：當不存在任何匹配結果時，返回0；否則，根據(jù)匹配次數(shù)的多少和位置先后返回一個匹配度。例如，如下SQL語句返回表中每條記錄對目標字段"hello"的匹配度：

SELECT MATCH(words) against('hello') FROM tests;

返回結果如下：

image

03 查詢性能對比

為了對比以上4種模糊搜索方式的性能，我們這里構建一個規(guī)模較大且更具一般性的數(shù)據(jù)表。本文選擇采集若干條英文格言，用于創(chuàng)建目標數(shù)據(jù)庫。

• 創(chuàng)建數(shù)據(jù)表。為簡單起見，僅創(chuàng)建一個名為says的字段，且對其添加全文索引。

CREATE TABLE IF NOT EXISTS sayings(says TEXT, FULLTEXT (says));

• 英文格言信息獲取

在網(wǎng)上找了個英文格言的網(wǎng)站，并寫了一個python小爬蟲爬取頁面全部300條英文格言，爬蟲源碼如下（為了增加記錄條數(shù)，將300條記錄重寫100詞，即數(shù)據(jù)庫中包含30000條記錄）：

from pyquery import PyQuery  as pq 
from pymysql import connect 
 
doc = pq(url='http://www.1juzi.com/new/43141.html', encoding = 'gb18030') 
items=doc("div.content>p:nth-child(2n+1)").items() 
hots = [item.text() for item in items] 
with connect(host="localhost", user="root", password="123456", db='teststr', charset='utf8') as cur: 
    sql_insert = 'insert into sayings values (%s);' 
    for _ in range(100):
        cur.executemany(sql_insert, hots)

注：如果對pyquery爬蟲運用感興趣，可移步：用pyquery5行代碼爬取百度熱點新聞一文

對爬取的英文短句寫入創(chuàng)建的數(shù)據(jù)表中，結果如下：

image

既然是英文勵志格言短句，那么我們就來查詢其中包括"success"的記錄。

• 首先查詢語句中任意位置包含"success"的記錄，4種方式SQL語句及執(zhí)行時間為：

 -- LIKE通配符 
SELECT says FROM sayings WHERE says LIKE '%success%' 
> OK 
> 時間: 0.036s 
 
-- REGEXP正則匹配 
SELECT says FROM sayings WHERE says REGEXP 'success' 
> OK 
> 時間: 0.053s

-- 內置函數(shù)查找
SELECT says FROM sayings WHERE INSTR(says, 'success')
> OK
> 時間: 0.045s

SELECT says FROM sayings WHERE LOCATE('success', says)
> OK
> 時間: 0.044s

SELECT says FROM sayings WHERE POSITION('success' in says)
> OK
> 時間: 0.047s

-- 全文索引
SELECT says FROM sayings WHERE MATCH(says) against('Success')
> OK
> 時間: 0.006s

可見，全文索引速度最寬，領先其他方式接近一個量級；Like通配符速度其次，但與其他幾種查詢方式效率相差不大。

通過Explain查詢計劃，我們可以發(fā)現(xiàn)全文索引方式由于應用了索引而無需全表查詢，所以執(zhí)行速度快，而其他三種模糊查詢方式均為執(zhí)行全表查詢。

image

全文索引查詢計劃

image

Like通配符查詢計劃

實際上，對于添加索引的字段應用Like查詢時，可以應用索引加速查詢，為勒驗證全文索引條件下是否仍然可以應用索引，我們進行第二組性能測試：

• 查詢語句中以"success"開頭的記錄（全文索引方式不支持指定單詞開頭的查詢任務），相應SQL語句即執(zhí)行時間如下：

 SELECT says FROM sayings WHERE says LIKE 'success%' 
> OK 
> 時間: 0.015s 
 
SELECT says FROM sayings WHERE says REGEXP '^success' 
> OK 
> 時間: 0.046s 
 
SELECT says FROM sayings WHERE INSTR(says, 'success')=1
> OK
> 時間: 0.042s

SELECT says FROM sayings WHERE LOCATE('success', says)=1
> OK
> 時間: 0.051s

SELECT says FROM sayings WHERE POSITION('success' in says)=1
> OK
> 時間: 0.049s

SELECT says FROM sayings WHERE MATCH(says) against('Success')
> OK
> 時間: 0.007s

可以看到，修改后的Like查詢效率提升明顯，并大幅超過其他方式。但解釋查詢計劃發(fā)現(xiàn)，雖然possible_key顯示了索引字段，但實際仍然未應用任何索引（key為null），即仍然進行全表查詢（Type = All）。之所以帶來速度上的大幅提升，僅僅是因為對'success%'要比'%success%'執(zhí)行字符串匹配要快得多（后者要整列匹配，前者僅需匹配開頭的單詞即可），而與索引無關。

image

Like'success%'仍然無法應用全文索引

所以，得到的結論是Like通配符無法有效利用全文索引加速查詢，但在特定模式下的查詢速度可快于通配符%模式下的查詢。

04 總結本文探討了MySQL中4中模糊查詢方式，包括：

• Like通配符用于查詢目標字段與模式串完全匹配的記錄，且無法應用全文索引提高查詢速度，但以特定字符開頭的模糊查詢比以"%"開頭時速度提升明顯
• RegExp正則表達式功能強大，可實現(xiàn)任意模式查詢，但執(zhí)行效率一般
• 簡單的子串有無查詢還可應用MySQL內置函數(shù)，包括Instr()、Locate()和Position()等，用法相近，但效率一般
• 對于包含全文索引的目標字段查詢，應用全文索引查詢效率最高，但可定制性差，不支持任意匹配查詢
• 記錄數(shù)目較少時，幾種查詢方式效率均可接受，可根據(jù)任務需求靈活選用