前言

?? Elasticsearch是一個(gè)基于Lucene的搜索服務(wù)器。它提供了一個(gè)分布式多用戶能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java語(yǔ)言開發(fā)的，并作為Apache許可條款下的開放源碼發(fā)布，是一種流行的企業(yè)級(jí)搜索引擎。Elasticsearch用于云計(jì)算中，能夠達(dá)到實(shí)時(shí)搜索，穩(wěn)定，可靠，快速，安裝使用方便。官方客戶端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和許多其他語(yǔ)言中都是可用的。根據(jù)DB-Engines的排名顯示，Elasticsearch是最受歡迎的企業(yè)搜索引擎，其次是Apache Solr，也是基于Lucene。

簡(jiǎn)介

??Elasticsearch 是一個(gè)分布式、高擴(kuò)展、高實(shí)時(shí)的搜索與數(shù)據(jù)分析引擎。它能很方便的使大量數(shù)據(jù)具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸縮性，能使數(shù)據(jù)在生產(chǎn)環(huán)境變得更有價(jià)值。Elasticsearch 的實(shí)現(xiàn)原理主要分為以下幾個(gè)步驟，首先用戶將數(shù)據(jù)提交到Elasticsearch 數(shù)據(jù)庫(kù)中，再通過分詞控制器去將對(duì)應(yīng)的語(yǔ)句分詞，將其權(quán)重和分詞結(jié)果一并存入數(shù)據(jù)，當(dāng)用戶搜索數(shù)據(jù)時(shí)候，再根據(jù)權(quán)重將結(jié)果排名，打分，再將返回結(jié)果呈現(xiàn)給用戶。

??Elasticsearch是與名為L(zhǎng)ogstash的數(shù)據(jù)收集和日志解析引擎以及名為Kibana的分析和可視化平臺(tái)一起開發(fā)的。這三個(gè)產(chǎn)品被設(shè)計(jì)成一個(gè)集成解決方案，稱為“Elastic Stack”（以前稱為“ELK stack”）。

??Elasticsearch可以用于搜索各種文檔。它提供可擴(kuò)展的搜索，具有接近實(shí)時(shí)的搜索，并支持多租戶。Elasticsearch是分布式的，這意味著索引可以被分成分片，每個(gè)分片可以有0個(gè)或多個(gè)副本。每個(gè)節(jié)點(diǎn)托管一個(gè)或多個(gè)分片，并充當(dāng)協(xié)調(diào)器將操作委托給正確的分片。再平衡和路由是自動(dòng)完成的。相關(guān)數(shù)據(jù)通常存儲(chǔ)在同一個(gè)索引中，該索引由一個(gè)或多個(gè)主分片和零個(gè)或多個(gè)復(fù)制分片組成。一旦創(chuàng)建了索引，就不能更改主分片的數(shù)量。

??Elasticsearch使用Lucene，并試圖通過JSON和Java API提供其所有特性。它支持facetting和percolating，如果新文檔與注冊(cè)查詢匹配，這對(duì)于通知非常有用。另一個(gè)特性稱為“網(wǎng)關(guān)”，處理索引的長(zhǎng)期持久性；例如，在服務(wù)器崩潰的情況下，可以從網(wǎng)關(guān)恢復(fù)索引。Elasticsearch支持實(shí)時(shí)GET請(qǐng)求，適合作為NoSQL數(shù)據(jù)存儲(chǔ)，但缺少分布式事務(wù)。

歷史與發(fā)展

??Shay Banon在2004年創(chuàng)造了Elasticsearch的前身，稱為Compass。在考慮Compass的第三個(gè)版本時(shí)，他意識(shí)到有必要重寫Compass的大部分內(nèi)容，以“創(chuàng)建一個(gè)可擴(kuò)展的搜索解決方案”。因此，他創(chuàng)建了“一個(gè)從頭構(gòu)建的分布式解決方案”，并使用了一個(gè)公共接口，即HTTP上的JSON，它也適用于Java以外的編程語(yǔ)言。Shay Banon在2010年2月發(fā)布了Elasticsearch的第一個(gè)版本。

??Elasticsearch BV成立于2012年，主要圍繞Elasticsearch及相關(guān)軟件提供商業(yè)服務(wù)和產(chǎn)品。2014年6月，在成立公司18個(gè)月后，該公司宣布通過C輪融資籌集7000萬美元。這輪融資由新企業(yè)協(xié)會(huì)(NEA)牽頭。其他投資者包括Benchmark Capital和Index Ventures。這一輪融資總計(jì)1.04億美元

??2015年3月，Elasticsearch公司更名為Elastic。

??在2018年6月，Elastic提交了首次公開募股申請(qǐng)，估值在15億到30億美元之間。公司于2018年10月5日在紐約證券交易所掛牌上市。一些組織將Elasticsearch作為托管服務(wù)提供。這些托管服務(wù)提供托管、部署、備份和其他支持。大多數(shù)托管服務(wù)還包括對(duì)Kibana的支持。

??Elasticsearch 自從誕生以來，其應(yīng)用越來越廣泛，特別是大數(shù)據(jù)領(lǐng)域，功能也越來越強(qiáng)大，但是如何有效的監(jiān)控管理 Elasticsearch 一直是公司所面對(duì)的難題，由于 Elasticsearch 集群的穩(wěn)定性，決定了其業(yè)務(wù)發(fā)展的高度，對(duì)于一個(gè)應(yīng)用來說其穩(wěn)定是第一目標(biāo)，所以完善的監(jiān)控體系是必不可少的。此外，Elasticsearch 寫入和查詢對(duì)資源的消耗都很大，如何合理有效地控制資源，既能滿足寫入和查詢的需求，又能滿足資源充分利用，這是公司必須面對(duì)的問題。

??在國(guó)內(nèi)，還沒較為完善的面向 Elasticsearch 的監(jiān)控管理平臺(tái)，很多企業(yè)往往只關(guān)注搭建一套簡(jiǎn)單分布式的集群環(huán)境，而對(duì)這個(gè)集群的缺乏監(jiān)控和管理，元數(shù)據(jù)混亂，寫入和查詢耦合，缺乏監(jiān)控一旦集群出現(xiàn)問題，就會(huì)導(dǎo)致數(shù)據(jù)丟失，甚至很容易導(dǎo)致線上應(yīng)用故障。相比于小公司，中大型公司的資金較為充足，所以中大型公司，會(huì)選擇為每個(gè)應(yīng)用去維護(hù)一套集群，但是這每當(dāng)資源不夠需要擴(kuò)容或者縮容時(shí)，極其不方便，需要增加刪除節(jié)點(diǎn)，其運(yùn)維成本過高。而且對(duì)每個(gè)應(yīng)用來說，可能不能夠充分利用資源，但是如果和其他應(yīng)用混合部署，但是又涉及到復(fù)雜的資源分配問題，而且隨著應(yīng)用的發(fā)展，資源經(jīng)常需要變動(dòng)。在國(guó)外，ELasticsearch 的應(yīng)用也很廣泛，也有對(duì) Elasticsearch 進(jìn)行很好的監(jiān)控和管理，Amazon AWS中也有基于 Elasticsearch 構(gòu)建的平臺(tái)服務(wù)，幫助電商應(yīng)用程序，網(wǎng)站等提供安全、高可靠、低成本、低延時(shí)、高吞吐量的個(gè)性化搜索。雖然，對(duì)集群進(jìn)行了監(jiān)控和管理，但是管理的維度還是集群級(jí)別的，而對(duì)于應(yīng)用往往是模板級(jí)別的，如果應(yīng)用無法與集群一一對(duì)應(yīng)，那就無法進(jìn)行更高效的管理。這無法滿足公司級(jí)別想要高效利用資源，集群內(nèi)部能支持多個(gè)應(yīng)用的場(chǎng)景。

有關(guān)概念

• cluster：代表一個(gè)集群，集群中有多個(gè)節(jié)點(diǎn)，其中有一個(gè)為主節(jié)點(diǎn)，這個(gè)主節(jié)點(diǎn)是可以通過選舉產(chǎn)生的，主從節(jié)點(diǎn)是對(duì)于集群內(nèi)部來說的。es的一個(gè)概念就是去中心化，字面上理解就是無中心節(jié)點(diǎn)，這是對(duì)于集群外部來說的，因?yàn)閺耐獠縼砜磂s集群，在邏輯上是個(gè)整體，你與任何一個(gè)節(jié)點(diǎn)的通信和與整個(gè)es集群通信是等價(jià)的。

• shards：代表索引分片，es可以把一個(gè)完整的索引分成多個(gè)分片，這樣的好處是可以把一個(gè)大的索引拆分成多個(gè)，分布到不同的節(jié)點(diǎn)上。構(gòu)成分布式搜索。分片的數(shù)量只能在索引創(chuàng)建前指定，并且索引創(chuàng)建后不能更改。

• replicas：代表索引副本，es可以設(shè)置多個(gè)索引的副本，副本的作用一是提高系統(tǒng)的容錯(cuò)性，當(dāng)某個(gè)節(jié)點(diǎn)某個(gè)分片損壞或丟失時(shí)可以從副本中恢復(fù)。二是提高es的查詢效率，es會(huì)自動(dòng)對(duì)搜索請(qǐng)求進(jìn)行負(fù)載均衡。

• recovery：代表數(shù)據(jù)恢復(fù)或叫數(shù)據(jù)重新分布，es在有節(jié)點(diǎn)加入或退出時(shí)會(huì)根據(jù)機(jī)器的負(fù)載對(duì)索引分片進(jìn)行重新分配，掛掉的節(jié)點(diǎn)重新啟動(dòng)時(shí)也會(huì)進(jìn)行數(shù)據(jù)恢復(fù)。

• river：代表es的一個(gè)數(shù)據(jù)源，也是其它存儲(chǔ)方式（如：數(shù)據(jù)庫(kù)）同步數(shù)據(jù)到es的一個(gè)方法。它是以插件方式存在的一個(gè)es服務(wù)，通過讀取river中的數(shù)據(jù)并把它索引到es中，官方的river有couchDB的，RabbitMQ的，Twitter的，Wikipedia的。

• gateway：代表es索引快照的存儲(chǔ)方式，es默認(rèn)是先把索引存放到內(nèi)存中，當(dāng)內(nèi)存滿了時(shí)再持久化到本地硬盤。gateway對(duì)索引快照進(jìn)行存儲(chǔ)，當(dāng)這個(gè)es集群關(guān)閉再重新啟動(dòng)時(shí)就會(huì)從gateway中讀取索引備份數(shù)據(jù)。es支持多種類型的gateway，有本地文件系統(tǒng)（默認(rèn)），分布式文件系統(tǒng)，Hadoop的HDFS和amazon的s3云存儲(chǔ)服務(wù)。

• discovery.zen：代表es的自動(dòng)發(fā)現(xiàn)節(jié)點(diǎn)機(jī)制，es是一個(gè)基于p2p的系統(tǒng)，它先通過廣播尋找存在的節(jié)點(diǎn)，再通過多播協(xié)議來進(jìn)行節(jié)點(diǎn)之間的通信，同時(shí)也支持點(diǎn)對(duì)點(diǎn)的交互。

• Transport：代表es內(nèi)部節(jié)點(diǎn)或集群與客戶端的交互方式，默認(rèn)內(nèi)部是使用tcp協(xié)議進(jìn)行交互，同時(shí)它支持http協(xié)議（json格式）、thrift、servlet、memcached、zeroMQ等的傳輸協(xié)議（通過插件方式集成）。

轉(zhuǎn)載：百度百科