Elasticsearch表達(dá)式

使用腳本，可以在Elasticsearch中評估自定義表達(dá)式。
例如可以使用腳本來返回“腳本字段”作為搜索請求的一部分，或評估查詢的自定義分?jǐn)?shù)。
“painless”為默認(rèn)的腳本語言。painless、expression為Elasticsearch內(nèi)置支持。
在Elasticsearch API中使用腳本都遵循相同的格式：

"script": {
    # 指定腳本表達(dá)式的語言
    "lang": "painless|expression|groovy|javascript|mustach|python|java",
    # 加載腳本的方式：source源碼，id已經(jīng)存在的腳本，file存儲在文件中的腳本
    "source" | "id" | "file": ".....",
    "params": { ..... }
}

painless和expression是默認(rèn)內(nèi)置的腳本表達(dá)式。painless是默認(rèn)的腳本語言。查詢示例：

curl -XGET localhost:9200/shakespeare/_search?pretty -d'
{
    "script_fields": {
       "my_field": {
          "script": {
             "lang": "painless",
             "source": "doc.line_id.value * params.value",
             "params": {
                 "value": 2
             }
          }
       }
   }
}'

已存儲的腳本

使用_scripts RestAPI將腳本存儲在集群中或者使用已經(jīng)存儲在集群中的腳本。

創(chuàng)建存儲腳本

$ curl -XPOST localhost:9200/_scripts/my_score?pretty -d'
{
  "script": {
     "lang": "painless",
     "source": "doc.line_id.value * params.value"
  }
}'

$ curl -XGET localhost:9200/_scripts/my_score?pretty

$ curl -XGET localhost:9200/shakespeare/_search?pretty -d'
{
   "script_fields": {
      "my_field": {
         "script": {
            "id": "my_score",
            "params": {
           "value": 2
        }
         }
      }
   }
}'

刪除存儲腳本

$ curl -XDELETE localhost:9200/_scripts/calculate-score?pretty

• 默認(rèn)情況下，所有腳本都是被緩存的，因此僅在更新時(shí)才需要重新編譯它們，它沒有過期時(shí)間。script.cache.expire
• 默認(rèn)情況下，腳本沒有超時(shí)期限，但是可以使用 script.cache.expire 設(shè)置更改此行為
• 默認(rèn)情況下，腳本緩存大小為100。可以使用 script.cache.max_size 設(shè)置配置此緩存的大小。

腳本引擎

ScriptEngine是用于實(shí)現(xiàn)腳本語言的后端。它也可以用于編寫需要使用腳本內(nèi)部高級功能的腳本。例如，一個(gè)腳本希望在評分時(shí)使用詞頻。需要實(shí)現(xiàn)ScriptEngine，同時(shí)應(yīng)實(shí)現(xiàn)ScriptPlugin接口并覆蓋getScriptEngine方法。

Elasticsearch插件

Elastic SQL插件

Elasticsearch SQL是一個(gè)X-Pack組件，它允許針對Elasticsearch實(shí)時(shí)執(zhí)行類似SQL的查詢。無論使用REST接口，命令行還是JDBC，任何客戶端都可以使用SQ搜索或聚合數(shù)據(jù)?？梢詫lasticsearch SQL看作是一種翻譯器，它可以將SQL解釋成Elasticsearch可以理解的查詢語言，并利用Elasticsearch完成大規(guī)模讀取和處理數(shù)據(jù)。

安裝插件

$ ./elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/5.6.16.0/elasticsearch-sql-5.6.16.0.zip

使用插件

6.2及以上版本，Elastic SQL被集成到X-Pack中。

$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/_sql -d'
{
   "query":"select * from shakespeare"
}'

6.2以下，Elastic SQL需要單獨(dú)安裝。

$ curl -XGET -u elastic:abcd_123 localhost:9200/_sql \
    -H'Content-Type：application/json' -d'select * from shakespeare'
    
$ curl -XGET -u elastic:abcd_123 localhost:9200/_sql/_explain \
    -H'Content-Type：application/json' -d'select * from shakespeare'

X-Pack插件

X-Pack是一個(gè)Elastic Stack擴(kuò)展，將安全性，警報(bào)，監(jiān)控，報(bào)告，機(jī)器學(xué)習(xí)和圖形功能捆綁到一個(gè)易于安裝的軟件包中。要使用X-Pack，必須在Elasticsearch中安裝與Elasticsearch版本相匹配的X-Pack。如果在群集上首次安裝X-Pack，則必須執(zhí)行完整群集重新啟動(dòng)。安裝X-Pack后，必須在群集中的所有節(jié)點(diǎn)上啟用安全性和安全性才能使群集正常運(yùn)行。

在線安裝

$ ./elasticsearh-plugin install x-pack

離線安裝

# 下載離線安裝包
$ wget https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-5.6.16.zip

# 安裝離線安裝包
$ ./elasticsearh-plugin install file:///path/to/x-pack-5.6.16.zip

Elasticsearch，Kibana和Logstash的X-Pack插件包含在同一zip文件中。如果已經(jīng)下載該文件，想在其他產(chǎn)品上安裝X-Pack，可以重復(fù)使用該文件。

配置插件

1. 安全設(shè)置

配置xpack.security可以進(jìn)行啟用匿名訪問和執(zhí)行查詢的身份驗(yàn)證，設(shè)置文檔和字段級安全性，配置領(lǐng)域以及使用SSL加密通信等設(shè)置。

2.審核設(shè)置

3.監(jiān)控設(shè)置

默認(rèn)情況下，X-Pack監(jiān)控被啟用，但是數(shù)據(jù)收集被禁用，高級監(jiān)控設(shè)置使你能夠控制收集數(shù)據(jù)的頻率、配置超時(shí)以及為本地存儲的監(jiān)控索引設(shè)置保留期，還可以調(diào)整監(jiān)控?cái)?shù)據(jù)的顯示方式。

使用插件

安裝X-Pack后，插件提供了三個(gè)默認(rèn)賬戶：

• elastic/changeme
• kibana/changeme
• logstash/changeme

$ curl -XGET -u elastic:changeme localhost:9200/_xpack/license?pretty
$ curl -XGET -u kibana:changeme localhost:9200/_xpack/license?pretty
$ curl -XGET -u logstash_system:changeme localhost:9200/_xpack/license?pretty

用戶管理

# 創(chuàng)建用戶
$ curl -XPOST -u elastic:abcd_123 localhost:9200/_xpack/security/user/yunxi -d'
{
   "password": "abcd_123",
   "roles": ["admin", "other_role1"],
   "full_name": "yunxi",
   "email": "abcd_123@test.com"
}'

# 查看用戶 
$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/user?pretty

# 禁用用戶
$ curl -XPOST -u elastic:abcd_123 localhost:9200/_xpack/security/user/yunxi/_disabled

# 啟用用戶
$ curl -XPOST -u elastic:abcd_123 localhost:9200/_xpack/security/user/yunxi/_enabled

# 刪除用戶
$ curl -XDELETE -u elastic:abcd_123 localhost:9200/_xpack/security/user/yunxi

• password 用戶密碼，最少6個(gè)字符。必填。
• roles 用戶所屬的一組角色。必填。
• full_name
• email
• metadata 用戶元數(shù)據(jù)。

角色管理

使用角色映射API，可以添加，刪除和檢索角色映射。要使用此API，必須至少擁有manage_security權(quán)限。

# 創(chuàng)建角色
$ curl -XPOST -u elastic:changeme localhost:9200/_xpack/security/role/my_role -d'
{
  "cluster": ["all"],
  "indices": [{
      "names": [ "news", "blog" ],
      "privileges": ["all"],
      "field_security" : {
        "grant" : [ "title", "body" ]
      },
      "query": "{\"match\": {\"title\": \"foo\"} }"
  }],
  "run_as": [ "other_user" ],
  "metadata" : { 
    "version" : 1
  }
}'
# 查看角色
$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role?pretty
$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role/my_role,ingest_admin?pretty
$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role?pretty

權(quán)限管理

has_privileges可以確定登錄的用戶具有的特權(quán)列表。所有用戶都可以使用此API，但只能查看自己的特權(quán)。

curl -XPOST -u elastic:abcd_123 localhost:9200/_xpack/security/role_mapping/administrator -d '
{
   "roles": ["user", "admin"],
   "enabled": true,
   "rules": {
      "field": { "username": ["admin01", "admin02"] }
   }
}'

$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role_mapping/administrator?pretty

$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role_mapping?pretty

集群權(quán)限

索引權(quán)限

字段和文檔級安全

可以通過向角色添加字段和文檔級別的安全權(quán)限來控制對索引內(nèi)數(shù)據(jù)的訪問。字段級別的安全權(quán)限將限制對文檔中特定字段的訪問。文檔級安全權(quán)限限制了對索引中特定文檔的訪問。角色可以基于每個(gè)索引的字段和文檔級別設(shè)定權(quán)限，未指定字段級別權(quán)限的角色將授予對所有字段的訪問權(quán)限。同樣，不指定文檔級別權(quán)限的角色將授予對索引中所有文檔的訪問權(quán)限。

"indices": [{
      "names": [ "news-*" ],
      "privileges": [ "read" ],
      "field_security" : {
        "grant" : [ "title", "@timestamp", "body" ]
      }
  }]

"indices": [{
      "names": [ "*" ],
      "privileges": [ "read" ],
      "field_security" : {
        "grant" : [ "title-*" ]
      }
  }]
  
  
  "indices": [{
      "names": [ "*" ],
      "privileges": [ "read" ],
      "field_security" : {
        "grant" : [ "*" ]，
        "except": [ "news.*" ]
      }
  }]