配置文件本身非常脆弱！所以修改配置文件自然會(huì)引入部署失敗的風(fēng)險(xiǎn)。如果能夠?qū)ε渲梦募M(jìn)行自動(dòng)化測(cè)試將會(huì)極大的降低這種風(fēng)險(xiǎn)。本文將介紹一個(gè)可以自動(dòng)化測(cè)試 logstash 配置文件的工具，讓大家可以像寫(xiě)單元測(cè)試用例一樣為 logstash 配置文件創(chuàng)建測(cè)試 case，并以快速迭代的方式變更 logstash 配置文件。

噩夢(mèng)

在很多真實(shí)環(huán)境中，變更 logstash 的配置文件幾乎是個(gè)噩夢(mèng)。日志不是結(jié)構(gòu)化的格式(甚至是亂七八糟！)，導(dǎo)致我們幾乎必須一個(gè)一個(gè)地處理日志，并對(duì)解析什么和不解析什么做出邏輯判定。這會(huì)導(dǎo)致我們?cè)?logstash 的配置文件中寫(xiě)出復(fù)雜的日志處理邏輯。更加悲催的是，我們編寫(xiě)的僅僅是一個(gè)配置文件，大多數(shù)時(shí)候你找不到像 VisualStudio 那樣豪華的帶有拼寫(xiě)檢查和語(yǔ)法檢查的編輯工具。所以我們迫切的需要一個(gè)可以對(duì) logstash 的配置文件做單元測(cè)試的工具，讓我們更好的控制變更、執(zhí)行迭代。

logstash-test-runner

logstash-test-runner 就是這樣一個(gè)可以讓我們應(yīng)用 DevOps 原則來(lái)解決這個(gè)問(wèn)題的工具。它具有下面幾個(gè)特點(diǎn)：

• 它是一個(gè)測(cè)試框架
• 非常容易寫(xiě)測(cè)試用例
• 不用學(xué)習(xí)一個(gè)新的 DSL(Domain-Specific-Language)
• 能夠快速的獲得反饋

logstash-test-runner 的作者應(yīng)該是飽受 logstash 的配置文件蹂躪之后創(chuàng)建的這個(gè)工具，所以這是一個(gè)寫(xiě)給自己用的工具，在使用的時(shí)候你能夠切身體會(huì)到它的便利！

前提條件

運(yùn)行 logstash-test-runner 依賴(lài)于下面三個(gè)條件：

• Docker
• NodeJS > v8
• Bash > v4

其中 logstash 的測(cè)試用例是在 docker 容器中運(yùn)行的，默認(rèn)使用的鏡像中 logstash 的版本為 5.5.1，我們可以通過(guò)第二個(gè)命令行參數(shù)指定其它的版本。

NodeJS 程序用來(lái)對(duì)比實(shí)際運(yùn)行的輸出結(jié)果與期望的輸出結(jié)果。

logstash-test-runner 其實(shí)就是一個(gè) Bash 腳本，把上面的工具組織起來(lái)完成任務(wù)。

在運(yùn)行 logstash-test-runner 前請(qǐng)確保你的環(huán)境滿足上述條件。然后從這里克隆 logstash-test-runner。如果你確定你要運(yùn)行的 logstash 的版本，最好是提前先把對(duì)應(yīng)的容器鏡像拉下來(lái)，比如筆者最常用的是 logstash 6.2.4：

$ docker pull docker.elastic.co/logstash/logstash:6.2.4

運(yùn)行下內(nèi)置的 demo

準(zhǔn)備就緒，讓我們先運(yùn)行下 logstash-test-runner 內(nèi)置的 demo 體驗(yàn)一下。進(jìn)入到 logstash-test-runner 目錄下，執(zhí)行下面的命令：

$ npm install
$ ./test.sh __tests__

test.sh 腳本的第一個(gè)參數(shù)是保存測(cè)試用例的根目錄，第二個(gè)參數(shù)是 logstash 的 docker 鏡像。也可以不指定 logstash 鏡像，默認(rèn)使用的鏡像中的 logstash 版本為 5.5.1。該命令執(zhí)行的結(jié)果如下：

tests 目錄的結(jié)構(gòu)如下：

每個(gè)子目錄代表一個(gè)測(cè)試用例，demo 中有三個(gè)測(cè)試用例，分別是 clustering、crawlers 和 mongo。每個(gè)測(cè)試用例下有三個(gè)文件，分別是 input.log、logstash.conf 和 output.log，他們的名稱(chēng)是固定的。input.log 模擬日志文件，保存的是日志記錄；logstash.conf 則是待測(cè)的 logstash 配置文件；output.log 中是需要我們寫(xiě)入的期望結(jié)果(這就是 logstash 版的單元測(cè)試呀！)。

添加自己的測(cè)試用例

下面我們添加自己的測(cè)試用例來(lái)測(cè)試 multiline 功能(把應(yīng)用程序中的異常堆棧合并到一條日志記錄中)。先創(chuàng)建目錄 nick/mlines，然后在 nick/mlines 目錄中創(chuàng)建文件 input.log、logstash.conf 和 output.log。input.log 文件的內(nèi)容如下：

2019-1
hello
world
2019-2
aa
2019-3
  bb
2019-4

模擬的日志記錄以日期開(kāi)頭，非數(shù)字開(kāi)頭的記錄則是異常堆棧。

logstash.conf 文件的內(nèi)容如下：

input {
  stdin {
    codec => multiline {
      pattern => "^\d"
      negate => "true"
      what => "previous"
    }
  }
}
filter {
  mutate {
    replace => {
      "host" => "testing_host"
    }
  }
}

filter 中設(shè)置 host 主要目的是讓測(cè)試用例忽略真正的 host 值(在容器中運(yùn)行這個(gè)值是隨機(jī)的字符串，無(wú)法執(zhí)行比較操作，所以總是讓他輸出 testing_host)。

output.log 文件的內(nèi)容如下：

{"tags":["multiline"],"host":"testing_host","message":"2019-1\nhello\nworld","@version":"1","@timestamp":"2019-03-05T09:30:26.820Z"}
{"tags":["multiline"],"host":"testing_host","message":"2019-2\naa","@version":"1","@timestamp":"2019-03-05T09:30:26.823Z"}
{"tags":["multiline"],"host":"testing_host","message":"2019-3\n  bb","@version":"1","@timestamp":"2019-03-05T09:30:26.824Z"}

這是我們期望 logstash 輸出的 JSON 格式的日志記錄。當(dāng)然，在默認(rèn)情況下 logstash-test-runner 會(huì)忽略 @timestamp。

接下來(lái)執(zhí)行下面的命令運(yùn)行測(cè)試：

$ ./test.sh __nick__ docker.elastic.co/logstash/logstash:6.2.4

該命令中筆者指定了 logstash 鏡像，所以測(cè)試用例都是由 logstash 6.2.4 執(zhí)行的，結(jié)果如下：

上圖顯示測(cè)試用例都通過(guò)了。如果有測(cè)試用例失敗，就會(huì)輸出詳細(xì)的失敗信息，非常有助于排除問(wèn)題。

難點(diǎn)在于寫(xiě) output.log

logstash-test-runner 非常簡(jiǎn)單易用，其實(shí)在整個(gè)使用過(guò)程中，筆者覺(jué)得寫(xiě) output.log 是最困難的。因?yàn)槟愫茈y根據(jù)日志記錄和 logstash 的配置文件直接推導(dǎo)出 logstash 輸出的記錄應(yīng)該是什么樣子的。logstash-test-runner 直接把 logstash 輸出的日志記錄輸出到了 console 中：

這樣我們就可以輕松的根據(jù) console 中的輸出來(lái)調(diào)整 output.log 文件了！

總結(jié)

使用者為自己編寫(xiě)的工具往往是直擊痛點(diǎn)，logstash-test-runner 就是這樣的工具。它讓我們可以快速迭代 logstash 的配置變更。我們還可以自動(dòng)化的執(zhí)行 logstash-test-runner，作為 CI/CD 的一部分，從而確保每個(gè)配置變更都通過(guò)了測(cè)試。
對(duì) logstash 之類(lèi)的基礎(chǔ)設(shè)施工具進(jìn)行測(cè)試符合 DevOps(構(gòu)建→測(cè)試→發(fā)布→運(yùn)行)的實(shí)踐。我想測(cè)試基礎(chǔ)設(shè)施配置的實(shí)踐會(huì)越來(lái)越普遍，并且在提高基礎(chǔ)設(shè)施可靠性和交付方面體現(xiàn)出巨大的價(jià)值。

參考：
Dealing with Tight-Coupling
agolo/logstash-test-runner

作者：sparkdev
出處：https://www.cnblogs.com/sparkdev/p/10564287.html
關(guān)注公眾號(hào);51reboot 運(yùn)維開(kāi)發(fā)，即可領(lǐng)取一套完整的python學(xué)習(xí)視頻
周四分享項(xiàng)目實(shí)例：https://www.ivsky.com/
項(xiàng)目地址：https://github.com/taniey/pycrawler.git
分享地址：https://ke.qq.com/course/429489?taid=3507081315782065&tuin=1d644a5