概要
性能調(diào)優(yōu)是系統(tǒng)架構(gòu)里所有組件必不可少的話題，Elasticsearch也不例外，雖說Elasticsearch內(nèi)的默認(rèn)配置已經(jīng)非常優(yōu)秀，但這不表示它就是完美的，必要的一些實(shí)踐我們還是需要了解一下。
開啟慢查詢?nèi)罩?/h3>
慢查詢?nèi)罩臼切阅茉\斷的重要利器，常規(guī)操作是設(shè)置慢查詢的閥值，然后運(yùn)維童鞋每天對(duì)慢日志進(jìn)行例行巡查，有特別慢的查詢，立即報(bào)備事件處理，其余的定期將慢日志的top n取出來進(jìn)行優(yōu)化。
慢日志的配置在elasticsearch 6.3.1版本下是通過命令配置的，讀操作和寫操作可以單獨(dú)設(shè)置，閥值的定義可根據(jù)實(shí)際的需求和性能指標(biāo)，有人覺得5秒慢，有人覺得3秒就不可接受，我們以3秒為例：
PUT /_all/_settings
{
"index.search.slowlog.threshold.query.warn":"3s",
"index.search.slowlog.threshold.query.info":"2s",
"index.search.slowlog.threshold.query.debug":"1s",
"index.search.slowlog.threshold.query.trace":"500ms",
"index.search.slowlog.threshold.fetch.warn":"1s",
"index.search.slowlog.threshold.fetch.info":"800ms",
"index.search.slowlog.threshold.fetch.debug":"500ms",
"index.search.slowlog.threshold.fetch.trace":"200ms",
"index.indexing.slowlog.threshold.index.warn":"3s",
"index.indexing.slowlog.threshold.index.info":"2s",
"index.indexing.slowlog.threshold.index.debug":"1s",
"index.indexing.slowlog.threshold.index.trace":"500ms",
"index.indexing.slowlog.level":"info",
"index.indexing.slowlog.source":"1000"
}
這三段分別表示query查詢、fetch查詢和index寫入三類操作的慢日志輸出閥值，_all表示對(duì)所有索引生效，也可以針對(duì)具體的索引。
同時(shí)在log4j2.properties配置文件中增加如下配置：
# 查詢操作慢日志輸出
appender.index_search_slowlog_rolling.type = RollingFile
appender.index_search_slowlog_rolling.name = index_search_slowlog_rolling
appender.index_search_slowlog_rolling.fileName = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}_index_search_slowlog.log
appender.index_search_slowlog_rolling.layout.type = PatternLayout
appender.index_search_slowlog_rolling.layout.pattern = [%d{ISO8601}][%-5p][%-25c] %.10000m%n
appender.index_search_slowlog_rolling.filePattern = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}_index_search_slowlog-%d{yyyy-MM-dd}.log
appender.index_search_slowlog_rolling.policies.type = Policies
appender.index_search_slowlog_rolling.policies.time.type = TimeBasedTriggeringPolicy
appender.index_search_slowlog_rolling.policies.time.interval = 1
appender.index_search_slowlog_rolling.policies.time.modulate = true
logger.index_search_slowlog_rolling.name = index.search.slowlog
logger.index_search_slowlog_rolling.level = trace
logger.index_search_slowlog_rolling.appenderRef.index_search_slowlog_rolling.ref = index_search_slowlog_rolling
logger.index_search_slowlog_rolling.additivity = false
# 索引操作慢日志輸出
appender.index_indexing_slowlog_rolling.type = RollingFile
appender.index_indexing_slowlog_rolling.name = index_indexing_slowlog_rolling
appender.index_indexing_slowlog_rolling.fileName = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}_index_indexing_slowlog.log
appender.index_indexing_slowlog_rolling.layout.type = PatternLayout
appender.index_indexing_slowlog_rolling.layout.pattern = [%d{ISO8601}][%-5p][%-25c] %marker%.10000m%n
appender.index_indexing_slowlog_rolling.filePattern = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}_index_indexing_slowlog-%d{yyyy-MM-dd}.log
appender.index_indexing_slowlog_rolling.policies.type = Policies
appender.index_indexing_slowlog_rolling.policies.time.type = TimeBasedTriggeringPolicy
appender.index_indexing_slowlog_rolling.policies.time.interval = 1
appender.index_indexing_slowlog_rolling.policies.time.modulate = true
logger.index_indexing_slowlog.name = index.indexing.slowlog.index
logger.index_indexing_slowlog.level = trace
logger.index_indexing_slowlog.appenderRef.index_indexing_slowlog_rolling.ref = index_indexing_slowlog_rolling
logger.index_indexing_slowlog.additivity = false
重啟elasticsearch實(shí)例后，就能在/home/esuser/esdata/log目錄中看到生成的兩個(gè)日志文件了。
優(yōu)化實(shí)踐建議
基本使用規(guī)范
- 搜索結(jié)果不要返回過大的結(jié)果集
過大的結(jié)果集會(huì)占用大量的IO資源和帶寬，速度肯定快不了，Elasticsearch是一個(gè)搜索引擎，最理想的搜索是精準(zhǔn)查詢或次精準(zhǔn)查詢，最關(guān)心的是排在前面的少數(shù)結(jié)果，而不是所有結(jié)果，優(yōu)化搜索條件，控制搜索結(jié)果數(shù)量是高性能的前提。
如果真有大批量的數(shù)據(jù)查詢，建議使用scroll api。
- 避免超大的document
http.max_context_length的默認(rèn)值是100mb，如果你一次document寫入時(shí)，document的內(nèi)容不能超過100mb，否則es就會(huì)拒絕寫入。雖然你可以修改此配置，但不建議這么做，es底層的lucene引擎還是有一個(gè)2gb的最大限制。
過大的document會(huì)占用非常多的資源，從任何方面考慮都不建議，如果業(yè)務(wù)需求真有非常大的內(nèi)容，如對(duì)書的內(nèi)容搜索，建議按章節(jié)、按段落進(jìn)行拆分存儲(chǔ)。
- 避免稀疏的數(shù)據(jù)
document的設(shè)計(jì)會(huì)從根本上影響索引的性能，稀疏數(shù)據(jù)是一個(gè)典型的不良設(shè)計(jì)，浪費(fèi)存儲(chǔ)空間，影響讀寫性能。
下面有一些document結(jié)構(gòu)設(shè)計(jì)的建議：
- 避免將沒有任何關(guān)聯(lián)性的數(shù)據(jù)寫入同一個(gè)索引
沒有關(guān)聯(lián)性的數(shù)據(jù)，意味著數(shù)據(jù)結(jié)構(gòu)也不相同，硬生生放在同一個(gè)索引，會(huì)導(dǎo)致index數(shù)據(jù)非常稀疏，建議是將這些數(shù)據(jù)放在不同的索引中。
- 對(duì)document的結(jié)構(gòu)進(jìn)行統(tǒng)一規(guī)范化
document的結(jié)構(gòu)、命名盡可能統(tǒng)一規(guī)范處理，同樣是創(chuàng)建時(shí)間字段，避免有的叫timestamp，有的叫create_time，盡可能統(tǒng)一。
- 對(duì)某些field禁用norms和doc_values
如果一個(gè)field不需要考慮其相關(guān)度分?jǐn)?shù)，那么可以禁用norms，如果不需要對(duì)一個(gè)field進(jìn)行排序或者聚合，那么可以禁用doc_values字段。
服務(wù)器層級(jí)
硬件資源是性能最硬核的部分，硬件好，起點(diǎn)就高。
- 用更快的硬件資源
在預(yù)算范圍內(nèi)，能用SSD固態(tài)硬盤就不要選用機(jī)械硬盤；
CPU主頻、核數(shù)當(dāng)然是強(qiáng)大到預(yù)算上限；
內(nèi)存單機(jī)上限64GB，加機(jī)器加到?jīng)]錢為止；
盡量使用本地存儲(chǔ)系統(tǒng)，不要用NFS等網(wǎng)絡(luò)存儲(chǔ)，畢竟硬盤便宜。
- 給filesystem cache更多的內(nèi)存
Elasticsearch的搜索嚴(yán)重依賴于底層的filesystem cache，如果所有的數(shù)據(jù)都能夠存放在filesystem cache中，那么搜索基本上是秒級(jí)。
由于實(shí)際情況的限制，最佳的情況下，就是你的機(jī)器的內(nèi)存，至少可以容納你的總數(shù)據(jù)量的一半。
要達(dá)到最佳情況有兩個(gè)辦法：一個(gè)是砸錢，買更多機(jī)器，加更大內(nèi)存；另一種是精簡document數(shù)據(jù)，只把需要搜索的field放進(jìn)es內(nèi)，filesystem cache就能存下更多的document，可以提高內(nèi)存的利用率。剩余的其他字段，可以放在redis/mysql/hbase/hapdoop做二級(jí)加載。
- 禁止swapping交換內(nèi)存
將swapping禁止掉，如果es jvm內(nèi)存交換到磁盤，再交換回內(nèi)存，會(huì)造成大量磁盤IO，性能很差。
Elasticsearch層級(jí)
- index buffer
在高并發(fā)寫入場景，我們可以將index buffer調(diào)大一些，indices.memory.index_buffer_size，這個(gè)可以調(diào)節(jié)大一些，這個(gè)值默認(rèn)是jvm heap的10%，這個(gè)index buffer大小，是所有的shard公用的，這個(gè)值除以shard數(shù)量，算出來平均每個(gè)shard可以使用的內(nèi)存大小，一般建議對(duì)于每個(gè)shard最多給512mb。
- 禁止_all field
_all field會(huì)將document中所有field的值都合并在一起進(jìn)行索引，很占用磁盤空空間，實(shí)際上用處卻不大，生產(chǎn)環(huán)境最好禁用_all field。
- 使用best_compression
_source field和其他field很占用磁盤空間，建議對(duì)其使用best_compression進(jìn)行壓縮。
- 用最小的最合適的數(shù)字類型
es支持4種數(shù)字類型：byte，short，integer，long。如果最小的類型就合適，那么就用最小的類型，節(jié)省磁盤空間。
- 禁用不需要的功能
對(duì)于需要進(jìn)行聚合和排序的field，我們才建立正排索引；
對(duì)于需要進(jìn)行檢索的field，我們才建立倒排索引；
對(duì)于不關(guān)心doc分?jǐn)?shù)的field，我們可以禁用掉norm；
對(duì)于不需要執(zhí)行phrase query近似匹配的field，那么可以禁用位置這個(gè)屬性;
- 不要用默認(rèn)的動(dòng)態(tài)string類型映射
默認(rèn)的動(dòng)態(tài)string類型映射會(huì)將string類型的field同時(shí)映射為text類型以及keyword類型，大多數(shù)情況我們只需要使用其中一種，剩下的都是浪費(fèi)磁盤空間，例如，id field這種字段可能只需要keyword，而body field可能只需要text field。
所以是使用keyword和text在設(shè)計(jì)時(shí)就應(yīng)該區(qū)分清楚，而不是全盤保存。
- 預(yù)熱filesystem cache
如果我們重啟了Elasticsearch，那么filesystem cache是空的，每次數(shù)據(jù)查詢時(shí)再加載數(shù)據(jù)進(jìn)filesystem cache，我們可以先對(duì)一些數(shù)據(jù)進(jìn)行查詢，提前將一些常用數(shù)據(jù)加載到內(nèi)存，待真實(shí)客戶使用時(shí)，可以直接使用內(nèi)存數(shù)據(jù)，響應(yīng)就很快了。
代碼研發(fā)層級(jí)
- 多使用bulk做寫入
我們使用Java作為客戶端時(shí)，寫入操作全部利用bulk api來完成。
使用多線程將數(shù)據(jù)寫入
document使用自動(dòng)生成的id
手動(dòng)給document設(shè)置一個(gè)id，那么es需要每次都去確認(rèn)一下那個(gè)id是否存在，這個(gè)過程是比較耗費(fèi)時(shí)間的。如果我們使用自動(dòng)生成的id，那么es就可以跳過這個(gè)步驟，寫入性能會(huì)更好。
對(duì)于關(guān)系型數(shù)據(jù)庫中的表id，可以作為es document的一個(gè)field存入。
- 重視document結(jié)構(gòu)設(shè)計(jì)
業(yè)務(wù)研發(fā)的重中之重，好的document結(jié)構(gòu)會(huì)帶來非常優(yōu)秀的性能表現(xiàn)。
避免使用script腳本
充分利用緩存
時(shí)間查詢時(shí)，不要使用now這種函數(shù)，應(yīng)該在客戶端把時(shí)間轉(zhuǎn)換成規(guī)范的格式，再到Elasticsearch里查詢，這樣能提高緩存的使用率。
小結(jié)
本篇介紹了Elasticsearch性能調(diào)優(yōu)的常見實(shí)踐方法，從服務(wù)器、實(shí)例再到代碼層級(jí)，可以作為參考，但性能調(diào)優(yōu)沒有約定俗成的方法，需要反復(fù)的驗(yàn)證，僅供參考，謝謝
專注Java高并發(fā)、分布式架構(gòu)，更多技術(shù)干貨分享與心得，請(qǐng)關(guān)注公眾號(hào)：Java架構(gòu)社區(qū)
