graylog的使用

摘自? ?http://docs.graylog.org/en/3.0/pages/queries.html

搜索查詢語言

默認(rèn)情況下,如果未指定要搜索的消息字段,則搜索中將包括所有消息字段

2.包含術(shù)語ssh消息:

SSH

包含術(shù)語sshlogin的消息

ssh? 登錄

包含確切短語ssh login郵件:

“ssh登錄”

字段類型包含ssh消息:

類型:ssh

字段類型包含sshlogin的消息

鍵入:( ssh?登錄)

字段類型包含確切短語ssh login的消息

輸入:“ssh login”

具有字段類型的郵件:

_exists_ :類型

沒有字段類型的郵件:

NOT ?_exists_ :輸入

2.與正則表達(dá)式匹配的消息如:

/ ethernet [ 0 - 9 ] + /

默認(rèn)情況下,所有術(shù)語或短語都是OR連接,因此返回至少有一個(gè)命中的所有消息。您可以使用?布爾運(yùn)算符和組來控制:

“ssh login”? 和 來源:示例。組織

(“SSH登錄”? AND? (源:例如。有機(jī)OR? 源:另一個(gè)。例如。組織))OR?_exists_:always_find_me

您還可以使用NOT運(yùn)算符:

“ssh login”? 并且 不是 來源:示例。org

NOT? example。組織

請注意,AND,ORNOT區(qū)分大小寫,并且必須以全部大寫形式鍵入。

通配符:使用?替換單個(gè)字符或*替換零個(gè)或多個(gè)字符:

來源:*組織。

來源:考試le.org

來源:考試文件*?

請注意,禁用前導(dǎo)通配符以避免過多的內(nèi)存消耗!您可以在Graylog配置文件中啟用它們:

allow_leading_wildcard_searches? =? true


支持模糊查詢 列如

SSH logni ~

此示例使用Damerau-Levenshtein距離,默認(rèn)距離為2并且將匹配“ssh login”和“example.org”(在查詢中故意拼寫錯(cuò)誤)。

你可以像這樣改變距離:

來源:exmaple 。org ~ 1

您還可以使用模糊性運(yùn)算符進(jìn)行鄰近搜索,其中短語中的術(shù)語可以具有彼此不同/模糊的距離,并且不必按照定義的順序:

“foo bar” ~ 5

數(shù)字字段支持范圍查詢。方括號中的范圍是包含性的,大括號是獨(dú)占的,甚至可以組合使用:

http_response_code :[ 500? TO? 504]

http_response_code :{ 400? TO? 404}

字節(jié):{ 0? 到64 ]

http_response_code :[ 0? 到64 }

您也可以進(jìn)行無邊界搜索:

http_response_code :> 400

http_response_code :< 400

http_response_code :> = 400

http_response_code :<= 400

也可以組合無界范圍運(yùn)算符:

http_response_code : ( > = 400?AND? < 500)

必須使用反斜杠轉(zhuǎn)義以下字符:

&& || :\ / +? -?。ǎ﹞} [] ^“?*?

例:

資源:\ / posts \ / 45326

時(shí)間幀選擇器

時(shí)間范圍選擇器定義了要搜索的時(shí)間范圍。它提供了三種不同的方式來選擇時(shí)間范圍并且對于搜索速度至關(guān)重要:如果您知道您只對最后一小時(shí)的消息感興趣,則只搜索該時(shí)間范圍。這將使Graylog?僅在相關(guān)索引中進(jìn)行搜索,并大大減少系統(tǒng)負(fù)載和所需資源。

1

相對時(shí)間幀選擇器

通過相對時(shí)間范圍選擇器,您可以查看從所選選項(xiàng)到搜索按鈕的消息。選擇器提供了一組適合您大部分搜索需求的相對時(shí)間范圍。

絕對時(shí)間幀選擇器

當(dāng)您確切知道搜索的邊界時(shí),您希望使用絕對時(shí)間幀選擇器。只需手動介紹搜索的日期和時(shí)間,或單擊輸入字段打開日歷,您可以用鼠標(biāo)選擇日期。

關(guān)鍵字時(shí)間幀選擇器

Graylog提供了一個(gè)關(guān)鍵字時(shí)間幀選擇器,允許您使用自然語言(如過去一小時(shí)過去90天)指定搜索的時(shí)間范圍。Web界面顯示將用于搜索的兩個(gè)實(shí)際時(shí)間戳的預(yù)覽。


2

以下是可能值的一些示例。

[if !supportLists]·???????[endif]“上個(gè)月”在一個(gè)月前和現(xiàn)在之間進(jìn)行搜索

[if !supportLists]·???????[endif]“4小時(shí)前”在四小時(shí)前和現(xiàn)在之間搜索

[if !supportLists]·???????[endif]“4月1日至2天前”在4月1日至2天前搜索

[if !supportLists]·???????[endif]“昨天午夜+0200到今天午夜+0200”在昨天午夜和今天午夜之間的時(shí)區(qū)+0200之間搜索 - 將在UTC時(shí)間22:00

保存的搜索

有時(shí)您可能希望搜索特定的搜索配置以供日后使用。Graylog提供了一個(gè)保存的搜索功能來完成它。

提交搜索后,從搜索側(cè)欄中選擇要顯示的字段,并選擇直方圖的分辨率,單擊側(cè)欄上的“?保存搜索條件按鈕。


4

為當(dāng)前搜索命名,然后單擊“保存”。如果以后要使用保存的搜索,只需從保存的搜索選擇器中選擇它即可。


5

當(dāng)然,您始終可以更新所選字段或已保存搜索的名稱。為此,請從保存的搜索選擇器中選擇已保存的搜索,更新字段選擇或直方圖分辨率,然后單擊“?保存的搜索?-

>“?更新搜索條件。也可以通過選擇保存的搜索?-

>?刪除已保存的搜索來刪除已保存的搜索


7

直方圖

搜索頁面包含搜索結(jié)果直方圖,您可以在其中以簡明的方式查看Graylog將為您調(diào)整的特定時(shí)間段內(nèi)收到的消息數(shù)。

直方圖還允許您進(jìn)一步縮小問題的原因:

[if !supportLists]·???????[endif]通過刷過直方圖來劃分搜索時(shí)間范圍。只需在圖表上單擊并拖動鼠標(biāo)即可選擇要使用的時(shí)間范圍,然后單擊搜索按鈕執(zhí)行該搜索

[if !supportLists]·???????[endif]查看圖表注釋中觸發(fā)警報(bào)的時(shí)間。如果您在流中搜索,則只會看到與該流相關(guān)的警報(bào)


8

分析

Graylog提供了幾種分析搜索結(jié)果的工具??梢詫⑦@些分析保存到儀表板中,以便您可以更方便地檢查它們。要從搜索結(jié)果中分析字段,請展開搜索側(cè)欄中的字段,然后單擊要執(zhí)行的分析按鈕。


9

字段統(tǒng)計(jì)

計(jì)算字段的不同統(tǒng)計(jì)信息,以幫助您更好地匯總和理解其中的數(shù)據(jù)。

統(tǒng)計(jì)信息包括:總數(shù),平均值,最小值,最大值,標(biāo)準(zhǔn)差,方差,總和和基數(shù)。在非數(shù)字字段上,您只能看到包含該字段的消息總數(shù),以及字段的基數(shù),即它具有的唯一值的數(shù)量。

快速值

快速值可幫助您找出字段值的分布。除了字段中包含的常用值的圖形表示外,Graylog還將顯示包含所有不同值的表,以便您查看它們出現(xiàn)的次數(shù)。您可以通過單擊值行中的放大鏡圖標(biāo)在搜索查詢中包含任何值。

10

場圖

您可以通過單擊搜索側(cè)欄中的“?生成圖表按鈕為任何數(shù)字字段創(chuàng)建字段圖。使用字段圖頂部“?自定義菜單中的選項(xiàng)?,可以更改圖形中使用的統(tǒng)計(jì)函數(shù),用于表示值的圖形類型,圖形插值以及時(shí)間分辨率。


11

一旦您自定義了一些場圖,您還可以通過從圖表頂角的漢堡圖標(biāo)拖動它們并將它們放入另一個(gè)場圖來組合它們。您可以在以下屏幕截圖中查看漢堡包圖標(biāo)的位置和最終結(jié)果:


12


13

裝飾者

裝飾器允許您自動在搜索時(shí)間內(nèi)更改消息字段,同時(shí)保留磁盤上未修改的消息。裝飾器特別適用于使字段中的某些數(shù)據(jù)更具可讀性,在某些字段中組合數(shù)據(jù),或添加包含有關(guān)消息的更多信息的新字段。由于每個(gè)流(包括默認(rèn)流)配置了裝飾器,因此您還可以以不同的方式在不同的流中顯示單個(gè)消息。

由于裝飾器所做的更改不會持久存在,因此您無法搜索修飾值或?qū)ζ涫褂米侄畏治銎?。您仍然可以在原始的非裝飾字段中使用這些功能。

裝飾器應(yīng)用于流級別,并且在所有能夠訪問流的用戶之間共享,因此所有用戶可以共享相同的結(jié)果并從裝飾器添加的優(yōu)勢中受益。

Graylog包含一些開箱即用的消息裝飾器,但您可以從管道添加新的消息裝飾器,也可以將自己的消息裝飾器作為插件添加。

要將裝飾器應(yīng)用于搜索結(jié)果,請單擊搜索側(cè)欄中的“?裝飾器選項(xiàng)卡,從下拉列表中選擇要應(yīng)用的裝飾器,然后單擊“?應(yīng)用。保存更改后,搜索結(jié)果將包含修飾值。


14

將多個(gè)裝飾器應(yīng)用于相同的搜索結(jié)果時(shí),可以通過在裝飾器列表中使用拖放來隨時(shí)更改它們的應(yīng)用順序

系統(tǒng)日志嚴(yán)重性映射器

syslog嚴(yán)重性映射器裝飾器允許您將系統(tǒng)日志消息的數(shù)字系統(tǒng)日志級別轉(zhuǎn)換為人類可讀的字符串。例如,將裝飾器應(yīng)用于level日志中的字段會將syslog級別轉(zhuǎn)換4為。Warning?(4)

要應(yīng)用syslog嚴(yán)重性映射器裝飾器,您需要提供以下數(shù)據(jù):

[if !supportLists]·???????[endif]源字段:包含數(shù)字系統(tǒng)日志級別的字段

[if !supportLists]·???????[endif]目標(biāo)字段:用于存儲人類可讀字符串的字段。如果您希望替換搜索結(jié)果中的數(shù)值,它可以與源字段相同

格式字符串

格式字符串裝飾器提供了將多個(gè)字段合并為一個(gè)字段的簡單方法。它還可以用于修改字段的內(nèi)容,而不會在Elasticsearch中更改存儲的結(jié)果。

要應(yīng)用格式字符串裝飾器,您需要提供以下數(shù)據(jù):

[if !supportLists]·???????[endif]格式字符串:用于格式化結(jié)果字符串的模式。您可以通過將其括起來在郵件中提供字段${}。例如,${source}將source消息字段的內(nèi)容添加到結(jié)果字符串中

[if !supportLists]·???????[endif]目標(biāo)字段:用于存儲結(jié)果值的字段

[if !supportLists]·???????[endif]需要所有字段(可選):選中此框以僅在存在所有其他字段時(shí)格式化字符串

例如,使用格式字符串可以生成文本,并使其在搜索結(jié)果中的某個(gè)消息字段中可見。Request?to?${controller}#${action}?finished?in?${took_ms}ms?with?code?${http_response_code}Request?to?PostsController#show?finished?in?57ms?with?code?200

管道裝飾器

管道裝飾器提供了一種通過使用現(xiàn)有處理管道處理消息來裝飾消息的方法。與使用處理管道相反,管道對消息所做的更改不會保留。相反,管道用于在搜索時(shí)修改文稿的消息。

使用管道裝飾器的先決條件是需要現(xiàn)有管道。

完成創(chuàng)建管道后,您現(xiàn)在可以在任意數(shù)量的流上添加使用它的裝飾器。為了創(chuàng)建一個(gè),你可以像任何其他裝飾器類型一樣,通過單擊Decorator側(cè)欄,選擇類型(在這種情況下為“Pipeline

Processor Decorator”)并單擊旁邊的Apply按鈕。


15

單擊“?應(yīng)用,可以選擇用于裝飾的管道。


16

選擇管道并單擊“?保存,您已經(jīng)設(shè)置了創(chuàng)建新的管道裝飾器。

調(diào)試裝飾器

如果郵件未按預(yù)期進(jìn)行裝飾,或者您需要知道它最初的樣子,則可以通過單擊郵件詳細(xì)信息中的“顯示更改”來查看裝飾期間所做的所有更改。


17

在此視圖中,刪除的內(nèi)容以紅色顯示,而添加的內(nèi)容以綠色顯示。這意味著添加的字段將具有單個(gè)綠色條目,刪除字段的單個(gè)紅色條目和修改的字段將具有兩個(gè)條目,紅色和綠色條目。

將結(jié)果導(dǎo)出為

也可以將搜索結(jié)果導(dǎo)出為CSV文檔。為此,請?jiān)谒阉鱾?cè)欄中選擇要導(dǎo)出的所有字段,單擊“?更多操作按鈕,然后選擇“?導(dǎo)出為CSV”。


18

提示:某些Graylog輸入會將原始消息保留在full_message字段中。如果需要導(dǎo)出原始郵件,可以通過單擊側(cè)欄底部的“?列出所有字段鏈接,然后選擇該full_message字段來執(zhí)行此操作。

警告

將結(jié)果導(dǎo)出為CSV將不會保留排序,因?yàn)镚raylog正在使用虛擬_doc字段來出于性能原因?qū)ξ臋n進(jìn)行“排序”。如果您需要訂購導(dǎo)出的數(shù)據(jù),則需要對ElasticSearch進(jìn)行滾動查詢并在之后對其進(jìn)行處理,或者下載文件并通過其他方式對其進(jìn)行后處理。

搜索結(jié)果突出顯示

Graylog支持自v0.20.2以來的搜索結(jié)果突出顯示:


19

啟用/禁用搜索結(jié)果突出顯示

使用搜索結(jié)果突出顯示將導(dǎo)致搜索的資源消耗略高。您可以使用graylog.confGraylog節(jié)點(diǎn)中的配置參數(shù)啟用和禁用它:

allow_highlighting ?= ?true

搜索配置

Graylog允許自定義搜索查詢所允許的選項(xiàng),例如限制用戶可以選擇的時(shí)間范圍或配置顯示的相對時(shí)間范圍列表。


20
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容