建表規(guī)約
表達(dá)是與否概念的字段,必須使用 is_xxx 的方式命名,數(shù)據(jù)類型是 unsigned tinyint ( 1表示是,0表示否)。
說明: 任何字段如果為非負(fù)數(shù),必須是 unsigned。表名、字段名必須使用小寫字母或數(shù)字,禁止出現(xiàn)數(shù)字開頭,禁止兩個(gè)下劃線中間只 出現(xiàn)數(shù)字。數(shù)據(jù)庫字段名的修改代價(jià)很大,因?yàn)闊o法進(jìn)行預(yù)發(fā)布,所以字段名稱需要慎重考慮。
正例: getter_admin,task_config,level3_name 反例:GetterAdmin,taskConfig,level_3_name主鍵索引名為 pk_字段名;唯一索引名為 uk_字段名;普通索引名則為 idx_字段名。
說明: pk_ 即 primary key; uk_ 即 unique key; idx_ 即 index 的簡(jiǎn)稱。小數(shù)類型為 decimal,禁止使用 float 和 double。
說明: float 和 double 在存儲(chǔ)的時(shí)候,存在精度損失的問題,很可能在值的比較時(shí),得到不正確的結(jié)果。如果存儲(chǔ)的數(shù)據(jù)范圍超過 decimal 的范圍,建議將數(shù)據(jù)拆成整數(shù)和小數(shù)分開存儲(chǔ)。表必備三字段:id, gmt_create, gmt_modified。
說明: 其中id必為主鍵,類型為unsigned bigint、單表時(shí)自增、步長(zhǎng)為1。gmt_create, gmt_modified 的類型均為 date_time 類型。(表設(shè)計(jì)里面主鍵一般都是自增id,不會(huì)拿自己生成的id作為主鍵,增加創(chuàng)建時(shí)間和開始時(shí)間也能追溯到數(shù)據(jù)的變化,不僅如此,日常開發(fā)的時(shí)候你可能在一張表中會(huì)有多條**_update_time來記錄狀態(tài)變化的時(shí)間)表的命名最好是加上“業(yè)務(wù)名稱_表的作用”。
正例: tiger_task / tiger_reader / mpp_config庫名與應(yīng)用名稱盡量一致。
如果修改字段含義或?qū)ψ侄伪硎镜臓顟B(tài)追加時(shí),需要及時(shí)更新字段注釋。
字段允許適當(dāng)冗余,以提高性能,但是必須考慮數(shù)據(jù)同步的情況。
冗余字段應(yīng)遵循:
1、不是頻繁修改的字段。
2、不是 varchar 超長(zhǎng)字段,更不能是 text 字段。單表行數(shù)超過 500 萬行或者單表容量超過 2GB,才推薦進(jìn)行分庫分表。
說明: 如果預(yù)計(jì)三年后的數(shù)據(jù)量根本達(dá)不到這個(gè)級(jí)別,請(qǐng)不要在創(chuàng)建表時(shí)就分庫分表。合適的字符存儲(chǔ)長(zhǎng)度,不但節(jié)約數(shù)據(jù)庫表空間、節(jié)約索引存儲(chǔ),更重要的是提升檢索速度。
正例:無符號(hào)值可以避免誤存負(fù)數(shù),且擴(kuò)大了表示范圍。
索引規(guī)約
業(yè)務(wù)上具有唯一特性的字段,即使是組合字段,也必須建成唯一索引。
說明: 不要以為唯一索引影響了 insert 速度,這個(gè)速度損耗可以忽略,但提高查找速度是明顯的;另外,即使在應(yīng)用層做了非常完善的校驗(yàn)控制,只要沒有唯一索引,根據(jù)墨菲定律,必然有臟數(shù)據(jù)產(chǎn)生。超過三個(gè)表禁止 join。需要 join 的字段,數(shù)據(jù)類型必須絕對(duì)一致;多表關(guān)聯(lián)查詢時(shí),保證被關(guān)聯(lián)的字段需要有索引。
說明: 即使雙表 join 也要注意表索引、SQL 性能。在 varchar 字段上建立索引時(shí),必須指定索引長(zhǎng)度,沒必要對(duì)全字段建立索引,根據(jù)實(shí)際文本區(qū)分度決定索引長(zhǎng)度即可。
說明: 索引的長(zhǎng)度與區(qū)分度是一對(duì)矛盾體,一般對(duì)字符串類型數(shù)據(jù),長(zhǎng)度為 20 的索引,區(qū)分度會(huì)高達(dá) 90%以上,可以使用 count(distinct left(列名, 索引長(zhǎng)度))/count(*)的區(qū)分度 來確定。頁面搜索嚴(yán)禁左模糊或者全模糊,如果需要請(qǐng)走搜索引擎來解決。
說明: 索引文件具有 B-Tree 的最左前綴匹配特性,如果左邊的值未確定,那么無法使用此索 引。如果有 order by 的場(chǎng)景,請(qǐng)注意利用索引的有序性。order by 最后的字段是組合索引的一部分,并且放在索引組合順序的最后,避免出現(xiàn) file_sort 的情況,影響查詢性能。
正例: where a=? and b=? order by c; 索引:a_b_c
反例: 索引中有范圍查找,那么索引有序性無法利用,如:WHERE a>10 ORDER BY b; 索引 a_b 無法排序。利用覆蓋索引來進(jìn)行查詢操作,避免回表。
說明: 如果一本書需要知道第 11 章是什么標(biāo)題,會(huì)翻開第 11 章對(duì)應(yīng)的那一頁嗎?目錄瀏覽 一下就好,這個(gè)目錄就是起到覆蓋索引的作用。
正例: 能夠建立索引的種類:主鍵索引、唯一索引、普通索引,而覆蓋索引是一種查詢的一種 效果,用explain的結(jié)果,extra列會(huì)出現(xiàn):using index。利用延遲關(guān)聯(lián)或者子查詢優(yōu)化超多分頁場(chǎng)景。
說明: MySQL 并不是跳過 offset 行,而是取 offset+N 行,然后返回放棄前 offset 行,返回 N 行,那當(dāng) offset 特別大的時(shí)候,效率就非常的低下,要么控制返回的總頁數(shù),要么對(duì)超過特定閾值的頁數(shù)進(jìn)行 SQL 改寫。
正例: 先快速定位需要獲取的 id 段,然后再關(guān)聯(lián)
SELECT a.* FROM 表 1 a, (select id from 表 1 where 條件 LIMIT 100000,20 ) b where a.id=b.idSQL 性能優(yōu)化的目標(biāo):至少要達(dá)到 range 級(jí)別,要求是 ref 級(jí)別,如果可以是 consts最好。
說明:
1、consts 單表中最多只有一個(gè)匹配行(主鍵或者唯一索引),在優(yōu)化階段即可讀取到數(shù)據(jù)。
2、ref 指的是使用普通的索引(normal index)。
3、range 對(duì)索引進(jìn)行范圍檢索。
反例: explain 表的結(jié)果,type=index,索引物理文件全掃 ,速度非常慢,這個(gè) index 級(jí)別比較 range 還低,與全表掃描是小巫見大巫。建組合索引的時(shí)候,區(qū)分度最高的在最左邊。
正例: 如果 where a=? and b=? ,a 列的幾乎接近于唯一值,那么只需要單建 idx_a 索引即 可。
說明: 存在非等號(hào)和等號(hào)混合判斷條件時(shí),在建索引時(shí),請(qǐng)把等號(hào)條件的列前置。如:where a>? and b=? 那么即使 a 的區(qū)分度更高,也必須把 b 放在索引的最前列。創(chuàng)建索引時(shí)避免有如下極端誤解:
1、誤認(rèn)為一個(gè)查詢就需要建一個(gè)索引。(只要用到的索引能把數(shù)據(jù)查詢范圍縮小很多就可以了,比如說原來1000萬數(shù)據(jù),其中光item_id字段就能把范圍降到100以內(nèi),那么查詢條件里那些begin_time字段就不用一起建立組合索引了)
2、誤認(rèn)為索引會(huì)消耗空間、嚴(yán)重拖慢更新和新增速度。(難道不會(huì)拖慢嗎?)
3、誤認(rèn)為唯一索引一律需要在應(yīng)用層通過“先查后插”方式解決。
SQL規(guī)約
-
不要使用 count(列名)或 count(常量)來替代 count(),count()是 SQL92 定義的標(biāo)準(zhǔn)統(tǒng)計(jì)行數(shù)的語法,跟數(shù)據(jù)庫無關(guān),跟 NULL 和非 NULL 無關(guān)。
說明: count(*)會(huì)統(tǒng)計(jì)值為 NULL 的行,而 count(列名)不會(huì)統(tǒng)計(jì)此列為 NULL 值的行。 - count(distinct col) 計(jì)算該列除 NULL 之外的不重復(fù)行數(shù),注意 count(distinct col1, col2) 如果其中一列全為 NULL,那么即使另一列有不同的值,也返回為 0。
-
當(dāng)某一列的值全是 NULL 時(shí),count(col)的返回結(jié)果為 0,但 sum(col)的返回結(jié)果為 NULL,因此使用 sum()時(shí)需注意 NPE 問題。
正例: 可以使用如下方式來避免sum的NPE問題:
SELECT IF(ISNULL(SUM(g)),0,SUM(g)) FROM table; -
使用 ISNULL()來判斷是否為 NULL 值。注意:NULL 與任何值的直接比較都為 NULL。
說明:
1、NULL<>NULL的返回結(jié)果是NULL,而不是false。
2、 NULL=NULL的返回結(jié)果是NULL,而不是true。
3、NULL<>1的返回結(jié)果是NULL,而不是true。 - 在代碼中寫分頁查詢邏輯時(shí),若 count 為 0 應(yīng)直接返回,避免執(zhí)行后面的分頁語句。
-
不得使用外鍵與級(jí)聯(lián),一切外鍵概念必須在應(yīng)用層解決。
說明: (概念解釋)學(xué)生表中的 student_id 是主鍵,那么成績(jī)表中的 student_id 則為外鍵。 如果更新學(xué)生表中的 student_id,同時(shí)觸發(fā)成績(jī)表中的 student_id 更新,則為級(jí)聯(lián)更新。 外鍵與級(jí)聯(lián)更新適用于單機(jī)低并發(fā),不適合分布式、高并發(fā)集群;級(jí)聯(lián)更新是強(qiáng)阻塞,存在數(shù)據(jù)庫更新風(fēng)暴的風(fēng)險(xiǎn);外鍵影響數(shù)據(jù)庫的插入速度。 - 禁止使用存儲(chǔ)過程,存儲(chǔ)過程難以調(diào)試和擴(kuò)展,更沒有移植性。
- 數(shù)據(jù)訂正時(shí),刪除和修改記錄時(shí),要先 select,避免出現(xiàn)誤刪除,確認(rèn)無誤才能執(zhí)行更新語句。
- in 操作能避免則避免,若實(shí)在避免不了,需要仔細(xì)評(píng)估 in 后邊的集合元素?cái)?shù)量,控制在 1000 個(gè)之內(nèi)。
- 如果有全球化需要,所有的字符存儲(chǔ)與表示,均以 utf-8 編碼,那么字符計(jì)數(shù)方法
說明:SELECT LENGTH("輕松工作");返回為12;SELECT CHARACTER_LENGTH("輕松工作");返回為4。如果要使用表情,那么使用 utfmb4 來進(jìn)行存儲(chǔ),注意它與 utf-8 編碼的區(qū)別。 - TRUNCATE TABLE 比 DELETE 速度快,且使用的系統(tǒng)和事務(wù)日志資源少,但 TRUNCATE無事務(wù)且不觸發(fā) trigger,有可能造成事故,故不建議在開發(fā)代碼中使用此語句。
說明: TRUNCATE TABLE 在功能上與不帶 WHERE 子句的 DELETE 語句相同。
ORM規(guī)約
-
在表查詢中,一律不要使用 * 作為查詢的字段列表,需要哪些字段必須明確寫明。
說明:
1、增加查詢分析器解析成本。
2、增減字段容易與 resultMap 配置不一致。 -
POJO 類的 Boolean 屬性不能加 is,而數(shù)據(jù)庫字段必須加 is_,要求在 resultMap 中 進(jìn)行字段與屬性之間的映射。
說明: 參見定義 POJO 類以及數(shù)據(jù)庫字段定義規(guī)定,在中增加映射,是必須的。 在 MyBatis Generator 生成的代碼中,需要進(jìn)行適當(dāng)?shù)男薷摹?/li> -
不要用 resultClass 當(dāng)返回參數(shù),即使所有類屬性名與數(shù)據(jù)庫字段一一對(duì)應(yīng),也需要定義;反過來,每一個(gè)表也必然有一個(gè)與之對(duì)應(yīng)。
說明: 配置映射關(guān)系,使字段與 DO 類解耦,方便維護(hù)。 - xml 配置中參數(shù)注意: #{},#param# 不要使用 ${} 此種方式容易出現(xiàn) SQL 注入。
-
iBATIS 自帶的 queryForList(String statementName,int start,int size)不推薦使用。
說明: 其實(shí)現(xiàn)方式是在數(shù)據(jù)庫取到 statementName 對(duì)應(yīng)的 SQL 語句的所有記錄,再通過 subList 取 start,size 的子集合,線上因?yàn)檫@個(gè)原因曾經(jīng)出現(xiàn)過 OOM。
正例: 在 sqlmap.xml 中引入 #start#, #size#
Map map = new HashMap();
map.put("start", start);
map.put("size", size);
- 不允許直接拿 HashMap 與 Hashtable 作為查詢結(jié)果集的輸出。
- 更新數(shù)據(jù)表記錄時(shí),必須同時(shí)更新記錄對(duì)應(yīng)的 gmt_modified 字段值為當(dāng)前時(shí)間。
- 不要寫一個(gè)大而全的數(shù)據(jù)更新接口,傳入為 POJO 類,不管是不是自己的目標(biāo)更新字段,都進(jìn)行 update table set c1=value1,c2=value2,c3=value3; 這是不對(duì)的。執(zhí)行 SQL 時(shí),盡量不要更新無改動(dòng)的字段,一是易出錯(cuò);二是效率低;三是增加 binlog 存儲(chǔ)。
- @Transactional 事務(wù)不要濫用。事務(wù)會(huì)影響數(shù)據(jù)庫的 QPS,另外使用事務(wù)的地方需要考慮各方面的回滾方案,包括緩存回滾、搜索引擎回滾、消息補(bǔ)償、統(tǒng)計(jì)修正等。
- <isEqual>中的 compareValue 是與屬性值對(duì)比的常量,一般是數(shù)字,表示相等時(shí)帶上此條件;<isNotEmpty>表示不為空且不為 null 時(shí)執(zhí)行;<isNotNull>表示不為 null 值時(shí)執(zhí)行。