SQL中的where條件,在數(shù)據(jù)庫中提取與應(yīng)用淺析

聲明:完全轉(zhuǎn)自何登成的博客:http://hedengcheng.com/?p=577,因為已經(jīng)無法訪問,為了引用方便,直接摘抄過來。

給定一條SQL,如何提取其中的where條件?where條件中的每個子條件,在SQL執(zhí)行的過程中有分別起著什么樣的作用?

關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)組織

關(guān)系型數(shù)據(jù)庫中,數(shù)據(jù)組織涉及到兩個最基本的結(jié)構(gòu):表與索引。
表中存儲的是完整記錄,一般有兩種組織形式:堆表(所有的記錄無序存儲),或者是聚簇索引表(所有的記錄,按照記錄主鍵進(jìn)行排序存儲)。
索引中存儲的是完整記錄的一個子集,用于加速記錄的查詢速度,索引的組織形式,一般均為B+樹結(jié)構(gòu)。

測試

讓我們創(chuàng)建一張測試表,為表新增幾個索引,然后插入幾條記錄,最后看看表的完整數(shù)據(jù)組織、存儲結(jié)構(gòu)式怎么樣的。

create table t1 (a int primary key, b int, c int, d int, e varchar(20));
create index idx_t1_bcd on t1(b, c, d);
insert into t1 values (4,3,1,1,’d’);
insert into t1 values (1,1,1,1,’a’);
insert into t1 values (8,8,8,8,’h’):
insert into t1 values (2,2,2,2,’b’);
insert into t1 values (5,2,3,5,’e’);
insert into t1 values (3,3,2,2,’c’);
insert into t1 values (7,4,5,5,’g’);
insert into t1 values (6,6,4,4,’f’);

t1表的存儲結(jié)構(gòu)如下圖所示(只畫出了idx_t1_bcd索引與t1表結(jié)構(gòu),沒有包括t1表的主鍵索引):

idx_t1_bcd索引上有[b,c,d]三個字段(若是InnoDB類的聚簇索引表,idx_t1_bcd上還會包括主鍵a字段),idx_t1_bcd索引,首先按照b字段排序,b字段相同,則按照c字段排序,以此類推。

SQL的 where 條件提取

考慮以下的一條SQL,會走idx_t1_bcd索引:

select * from t1 where b >= 2 and b < 8 and c > 1 and d != 4 and e != 'a';

思考這條SQL的幾個關(guān)鍵性問題:

1. 此SQL,覆蓋索引idx_t1_bcd上的哪個范圍?

起始范圍:記錄[2,2,2]是第一個需要檢查的索引項。索引起始查找范圍由b >= 2,c > 1決定。
終止范圍:記錄[8,8,8]是第一個不需要檢查的記錄,而之前的記錄均需要判斷。索引的終止查找范圍由b < 8決定;

2. 在確定了查詢的起始、終止范圍之后,SQL中還有哪些條件可以使用索引idx_t1_bcd過濾?

固定了索引的查詢范圍[(2,2,2),(8,8,8))之后,此索引范圍中并不是每條記錄都是滿足where查詢條件的。例如:(3,1,1)不滿足c > 1的約束;(6,4,4)不滿足d != 4的約束。而c,d列,均可在索引idx_t1_bcd中過濾掉不滿足條件的索引記錄的。
因此,SQL中還可以使用c > 1 and d != 4條件進(jìn)行索引記錄的過濾。

3. 在確定了索引中最終能夠過濾掉的條件之后,還有哪些條件是索引無法過濾的?

顯而易見,e !='a'這個查詢條件,無法在索引idx_t1_bcd上進(jìn)行過濾,因為索引并未包含e列。e列只在堆表上存在,為了過濾此查詢條件,必須將已經(jīng)滿足索引查詢條件的記錄回表,取出表中的e列,然后使用e列的查詢條件e != ‘a(chǎn)’進(jìn)行最終的過濾。

在理解以上的問題解答的基礎(chǔ)上,做一個抽象,可總結(jié)出一套放置于所有SQL語句而皆準(zhǔn)的where查詢條件的提取規(guī)則,可歸納為3大類:Index Key (First Key & Last Key),Index Filter,Table Filter。

Index Key

用于確定SQL查詢在索引中的連續(xù)范圍的查詢條件,被稱之為Index Key。一個范圍包含一個起始與一個終止,因此Index Key也被拆分為Index First Key和Index Last Key,分別用于定位索引查找的起始,以及索引查詢的終止條件。

  • Index First Key
    提取規(guī)則:從索引的第一個鍵值開始,檢查其在where條件中是否存在,若存在并且條件是=、>=,則將對應(yīng)的條件加入Index First Key之中,繼續(xù)讀取索引的下一個鍵值,使用同樣的提取規(guī)則;若存在并且條件是>,則將對應(yīng)的條件加入Index First Key中,然后終止Index First Key的提取。

針對上面的SQL,應(yīng)用這個提取規(guī)則,提取出來的Index First Key為(b >= 2, c > 1)。由于c的條件為 >,提取結(jié)束,不包括d。

  • Index Last Key
    與Index First Key正好相反,用于確定索引查詢的終止范圍。提取規(guī)則:從索引的第一個鍵值開始,檢查其在where條件中是否存在,若存在并且條件是=、<=,則將對應(yīng)條件加入到Index Last Key中,繼續(xù)提取索引的下一個鍵值,使用同樣的提取規(guī)則;若存在并且條件是 < ,則將條件加入到Index Last Key中,同時終止提??;若不存在,同樣終止Index Last Key的提取。

針對上面的SQL,應(yīng)用這個提取規(guī)則,提取出來的Index Last Key為(b < 8),由于是 < 符號,因此提取b之后結(jié)束。

Index Filter

在Index Key的提取之后固定了索引的查詢范圍,但是此范圍中的項,并不都是滿足查詢條件的項。在上面的SQL用例中,(3,1,1),(6,4,4)均屬于范圍中,但是均不滿足SQL的查詢條件。

Index Filter的提取規(guī)則:同樣從索引列的第一列開始,檢查其在where條件中是否存在:

  1. 若存在并且where條件僅為 =,則跳過第一列繼續(xù)檢查索引下一列,下一索引列采取與索引第一列同樣的提取規(guī)則;
  2. 若where條件為 >=、>、<、<= 其中的幾種,則跳過索引第一列,將其余where條件中索引相關(guān)列全部加入到Index Filter之中;
  3. 若索引第一列的where條件包含 =、>=、>、<、<= 之外的條件,則將此條件以及其余where條件中索引相關(guān)列全部加入到Index Filter之中;
  4. 若第一列不包含查詢條件,則將所有索引相關(guān)條件均加入到Index Filter之中。

針對上面的用例SQL,索引第一列只包含 >=、< 兩個條件,因此第一列可跳過,將余下的c、d兩列加入到Index Filter中。因此獲得的Index Filter為 c > 1 and d != 4 。

Table Filter

Table Filter是最簡單,也是提取最為方便的。提取規(guī)則:所有不屬于索引列的查詢條件,均歸為Table Filter之中。
針對上面的用例SQL,Table Filter就為 e != 'a'。

總結(jié)

SQL語句中的where條件,使用以上的提取規(guī)則,最終都會被提取到Index Key (First Key & Last Key),Index Filter與Table Filter之中。

Index First Key,只是用來定位索引的起始范圍,在索引第一次Search Path(沿著索引B+樹的根節(jié)點(diǎn)一直遍歷,到索引正確的葉節(jié)點(diǎn)位置)時使用,一次判斷即可;

Index Last Key,用來定位索引的終止范圍,因此對于起始范圍之后讀到的每一條索引記錄,均需要判斷是否已經(jīng)超過了Index Last Key的范圍,若超過,則當(dāng)前查詢結(jié)束;

Index Filter,用于過濾索引查詢范圍中不滿足查詢條件的記錄,因此對于索引范圍中的每一條記錄,均需要與Index Filter進(jìn)行對比,若不滿足Index Filter則直接丟棄,繼續(xù)讀取索引下一條記錄;

Table Filter,最后一道where條件的防線,用于過濾通過前面索引的層層考驗的記錄,判斷完整記錄是否滿足Table Filter中的查詢條件,若不滿足,跳過當(dāng)前記錄,繼續(xù)讀取索引的下一條記錄,若滿足,則返回記錄,此記錄滿足了where的所有條件。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容