1、系統(tǒng)的重要配置

理想情況下，es應(yīng)該單獨(dú)在一個(gè)服務(wù)器上運(yùn)行，能夠使用服務(wù)器上的所有資源。為了達(dá)到上述目標(biāo)，我們需要配置操作系統(tǒng)，來(lái)允許用戶(hù)運(yùn)行es并且獲取比默認(rèn)情況下更多的資源。

在生產(chǎn)環(huán)境中下面的一些設(shè)置必須配置一下：

（1）禁止swapping
（2）確保擁有足夠的虛擬內(nèi)存
（3）確保擁有足夠的線程數(shù)量

開(kāi)發(fā)模式 vs 生產(chǎn)模式

默認(rèn)情況下，es會(huì)假設(shè)你是在開(kāi)發(fā)模式下運(yùn)行的。如果上面的任何配置沒(méi)有正確的設(shè)置，那么會(huì)輸出一些warning到日志文件中，但是我們還是可以啟動(dòng)es進(jìn)程的。

但是如果我們配置了網(wǎng)絡(luò)設(shè)置，比如network.host，es會(huì)認(rèn)為我們是運(yùn)行在生產(chǎn)環(huán)境中的，然后就會(huì)將上述warning升級(jí)為exception。這些exception會(huì)阻止我們的es節(jié)點(diǎn)啟動(dòng)。這是一個(gè)重要的安全保障措施來(lái)確保我們不會(huì)因?yàn)殄e(cuò)誤的配置了es server，而導(dǎo)致數(shù)據(jù)丟失。

2、配置系統(tǒng)設(shè)置

在/etc/security/limits.conf中，可以配置系統(tǒng)設(shè)置

也可以用ulimit臨時(shí)配置系統(tǒng)設(shè)置

在linux操作系統(tǒng)中，ulimit可以用來(lái)臨時(shí)的改變資源限制。通常需要用root權(quán)限來(lái)設(shè)置ulimit。

舉例，如果要設(shè)置file descriptor為65536，可以用如下的命令來(lái)設(shè)置：

ulimit -n 65536

但是在linux操作系統(tǒng)中，實(shí)際上永久性的資源限制可以通過(guò)編輯/etc/security/limits.conf文件來(lái)設(shè)置。比如要設(shè)置file descriptor，可以再limits.conf中加入下面的行：

elasticsearch - nofile 65536

在下一次elasticsearch用戶(hù)開(kāi)啟一個(gè)新的會(huì)話(huà)時(shí)就會(huì)生效

設(shè)置jvm option

一般建議通過(guò)jvm.options配置文件來(lái)設(shè)置es的jvm option。默認(rèn)的地址是config/jvm.options

每行是一個(gè)jvm argument

此外，如也可以通過(guò)ES_JAVA_OPTS環(huán)境變量來(lái)設(shè)置jvm option，比如下面的命令：

export ES_JAVA_OPTS="$ES_JAVA_OPTS -Djava.io.tmpdir=/path/to/temp/dir"

3、禁止swapping

大多數(shù)操作系統(tǒng)都會(huì)使用盡量多的內(nèi)存來(lái)進(jìn)行file system cache，并且盡量將不經(jīng)常使用的java應(yīng)用的內(nèi)存swap到磁盤(pán)中去。這會(huì)導(dǎo)致jvm heap的部分內(nèi)存，甚至是用來(lái)執(zhí)行代碼的內(nèi)存頁(yè)被swap到磁盤(pán)中去。

swapping對(duì)于性能來(lái)說(shuō)是非常差勁的，為了es節(jié)點(diǎn)的穩(wěn)定性考慮，應(yīng)該盡量避免這種swapping。因?yàn)閟wapping會(huì)導(dǎo)致gc過(guò)程從毫秒級(jí)變成分鐘級(jí)，在gc的時(shí)候需要將內(nèi)存從磁盤(pán)中swapping到內(nèi)存里，特別耗時(shí)，這會(huì)導(dǎo)致es節(jié)點(diǎn)響應(yīng)請(qǐng)求變得很慢，甚至導(dǎo)致es node跟cluster失聯(lián)。在一個(gè)彈性的分布式系統(tǒng)中，讓操作系統(tǒng)kill掉某一個(gè)節(jié)點(diǎn)，是很高效的。

有三種方法可以disable swapping。推薦的option是徹底禁用swap，如果做不到的化，也得盡量最小化swappiness的影響，比如通過(guò)lock memory的方法。

（1）禁用所有的swapping file

通常來(lái)說(shuō)，es進(jìn)程會(huì)在一個(gè)節(jié)點(diǎn)上單獨(dú)運(yùn)行，那么es進(jìn)程的內(nèi)存使用是由jvm option控制的。

可以使用下面的命令臨時(shí)性禁止swap：swapoff -a

要永久性的禁止swap，需要修改/etc/fstab文件，然后將所有包含swap的行都注釋掉

（2）配置swappiness

另外一個(gè)方法就是通過(guò)sysctl，將vm.swappiness設(shè)置為1，這可以盡量減少linux內(nèi)核swap的傾向，在正常情況下，就不會(huì)進(jìn)行swap，但是在緊急情況下，還是會(huì)進(jìn)行swap操作。sysctl -w vm.swappiness=1

（3）啟用bootstrap.memory_lock

最后一個(gè)選項(xiàng)，就是用mlockall，將es jvm進(jìn)程的address space鎖定在內(nèi)存中，阻止es內(nèi)存被swap out到磁盤(pán)上去。在config/elasticsearch.yml中，可以配置：

bootstrap.memory_lock: true

GET _nodes?filter_path=**.mlockall，通過(guò)這行命令可以檢查mlockall是否開(kāi)啟了

如果發(fā)現(xiàn)mlockall是false，那么意味著mlockall請(qǐng)求失敗了。會(huì)看到一行日志，unable to lock jvm memory。

最大可能的原因，就是在linux系統(tǒng)中，啟動(dòng)es進(jìn)程的用戶(hù)沒(méi)有權(quán)限去lock memory，需要通過(guò)以下方式進(jìn)行授權(quán)：

ulimit -l unlimited

/etc/security/limits.conf，memlock設(shè)置為unlimited

另外一個(gè)原因可能是臨時(shí)目錄使用noexec option來(lái)mount了?？梢酝ㄟ^(guò)指定一個(gè)新的臨時(shí)目錄來(lái)解決

export ES_JAVA_OPTS="$ES_JAVA_OPTS -Djava.io.tmpdir=/path/to/temp/dir"

當(dāng)然也可以通過(guò)在jvm.options文件中來(lái)設(shè)置java.io.tmpdir

4、虛擬內(nèi)存

es使用hybrid mmapfs / niofs目錄來(lái)存儲(chǔ)index數(shù)據(jù)，操作系統(tǒng)的默認(rèn)mmap count限制是很低的，可能會(huì)導(dǎo)致內(nèi)存耗盡的異常。

需要提升mmap count的限制：sysctl -w vm.max_map_count=262144

如果要永久性設(shè)置這個(gè)值，要修改/etc/sysctl.conf，將vm.max_map_count的值修改一下，重啟過(guò)后，用sysctl vm.max_map_count來(lái)驗(yàn)證一下數(shù)值是否修改成功

es同時(shí)會(huì)用NioFS和MMapFS來(lái)處理不同的文件，我們需要設(shè)置最大的map刷另，這樣我們才能有足夠的虛擬內(nèi)存來(lái)給mmapped文件使用，可以用sysctl來(lái)設(shè)置：sysctl -w vm.max_map_count=262144。還可以再/etc/sysctl.conf中，對(duì)vm.max_map_count來(lái)設(shè)置。

5、設(shè)置線程的數(shù)量

es用了很多線程池來(lái)應(yīng)對(duì)不同類(lèi)型的操作，在需要的時(shí)候創(chuàng)建新的線程是很重要的。要確保es用戶(hù)能創(chuàng)建的最大線程數(shù)量至少在2048以上。

可以通過(guò)ulimit -u 2048來(lái)臨時(shí)設(shè)置，也可以在/etc/security/limits.conf中設(shè)置nproc為2048來(lái)永久性設(shè)置。