文章目錄

零.引言
壹.基礎(chǔ)
1.1 ServerAgent部署
1.2 PerfMon插件使用
貳.進(jìn)階
2.1 指標(biāo)
2.2 曲線圖
2.3 自定義指標(biāo)
叁.總結(jié)

JMeter性能測試-服務(wù)器資源監(jiān)控插件詳解

轉(zhuǎn)自:技能鍛造室

image

零.引言

我們對被測應(yīng)用進(jìn)行性能測試時，除了關(guān)注吞吐量、響應(yīng)時間等應(yīng)用自身的表現(xiàn)外，對應(yīng)用運行所涉及的服務(wù)器資源的使用情況，也是非常重要的方面，通過實時監(jiān)控，可以準(zhǔn)確的把握不同測試場景下服務(wù)器資源消耗情況的變化，對于應(yīng)用性能分析有著重要的作用，同時也是調(diào)整測試場景設(shè)計的重要依據(jù)。對于使用JMeter執(zhí)行性能測試的朋友，可能大都知道jmeter-plugins中就有用于服務(wù)器資源監(jiān)控的插件PerfMon Metrics Collector，同時也有不少同學(xué)會選擇類似nmon的獨立監(jiān)控方案。

之所以決定寫這篇文章，一是因為在使用JMeter作為性能測試工具的情況下，使用專為其設(shè)計的插件會更方便，二是對于普通互聯(lián)網(wǎng)公司的性能測試方案，這款插件所提供的功能已經(jīng)可以滿足其資源監(jiān)控方面的大多數(shù)需求，而最重要的一點，是在技術(shù)群里發(fā)現(xiàn)雖然很多同學(xué)知道或者在用這款插件，但是對于一些概念和細(xì)節(jié)，并不了解，導(dǎo)致不能很好的滿足自己的需求，而現(xiàn)在網(wǎng)絡(luò)上介紹這款插件的博客文章，大都是Quick Start式的入門文章，并不能解答這些同學(xué)的疑問。
注：本文使用的JMeter版本為當(dāng)前最新release版本3.2。

壹.基礎(chǔ)

本來PerfMon插件的安裝部署不是本文的重點，但為了保持文章的完整性，這里還是進(jìn)行簡單的介紹。有基礎(chǔ)的同學(xué)可以跳過。

使用PerfMon進(jìn)行服務(wù)器資源監(jiān)控的方案由兩部分來實現(xiàn)

1. ServerAgent，部署在被測服務(wù)器，負(fù)責(zé)資源耗用數(shù)據(jù)的采集，其功能實現(xiàn)主要基于hyperic的SIGAR。
2. PerfMon Listener，以插件形式集成到JMeter，作為其中一個Listener。

1.1 ServerAgent部署

• 前提：ServerAgent運行需要jre1.4以上版本支持。
• 下載：從官方下載
• 部署：將下載的.zip放置到被測服務(wù)器，解壓后，直接運行startAgent.sh(Linux)/startAgent.bat(Windows)即可，與JMeter進(jìn)行數(shù)據(jù)傳輸時使用簡單的文本協(xié)議，默認(rèn)使用TCP協(xié)議，默認(rèn)端口4444。當(dāng)然，在Linux，我們通常將其放在后臺運行，比如用nohup。
  • 驗證：為了保證測試過程的順暢，我們可以先行確認(rèn)JMeter壓力機(jī)與被測服務(wù)器上部署的ServerAgent的通信是否正常。一個簡便的方法是在JMeter壓力機(jī)使用telnet像ServerAgent發(fā)送”test”，如telnet 192.168.18.10 4444，連通后，輸入test，正常情況下ServerAgent會輸出類似INFO 2017-07-29 23:10:52.430 [kg.apc.p] (): Yep, we received the 'test' command的日志。

可以在運行腳本時添加--tcp-port xxx來指定端口，如$ ./startAgent.sh --tcp-port 3450，需要注意的是此時JMeterPerfMon插件使用時也需要對綁定端口進(jìn)行對應(yīng)修改。更多信息可以參考下載頁的官方文檔。

1.2 PerfMon插件使用

• 安裝：JMeter3.0之后，有兩種方式安裝jmeter-plugins所包含的插件。

  • 第一種方式：到jmeter-plugins官網(wǎng)搜索PerfMon并下載，將得到的jar包放置于JMeter安裝目錄的lib/ext/路徑下，重啟JMeter，從Listener中選擇使用插件。

    圖1 插件下載

    圖1 插件下載

  • 第二種方式：使用Plugins Manager，不過由于國內(nèi)眾所周知的原因，很多同學(xué)可能遇到網(wǎng)絡(luò)不通不能展示插件的問題，這里就不展開了，可參考我之前的文章：JMeter性能測試3.0時代之-全新JMeter插件管理

• 使用：如圖2所示，在Listener中選擇PerfMon插件，添加到測試計劃中，然后參考圖3進(jìn)行配置，包括配置部署了ServerAgent的被測服務(wù)器的IP、ServerAgent使用的端口、要獲取和展示的資源項等。測試啟動后

圖2 使用PerfMon插件

圖2 使用PerfMon插件

圖3 配置

圖3 配置

• 數(shù)據(jù)觀察和保存：在使用GUI模式進(jìn)行調(diào)試時，測試啟動后，可以直接在對應(yīng)窗口觀察到根據(jù)采集數(shù)據(jù)描繪的圖形。而要在使用NO GUI模式正式執(zhí)行測試后，查看監(jiān)控數(shù)據(jù)，可以在設(shè)計測試計劃時在圖3的Filename位置配置數(shù)據(jù)要保存的地址，它和保存JMeter測試主數(shù)據(jù)的方式一樣，需要注意的是不要和JMeter測試主數(shù)據(jù)保存到同一個文件。在測試執(zhí)行完成后，再在插件界面載入這個文件，即可顯示監(jiān)控數(shù)據(jù)的圖形展示。

貳.進(jìn)階

從同事、技術(shù)群友們那里，我了解到有不少同學(xué)對于PerfMon插件展示的各個指標(biāo)數(shù)據(jù)的含義，特別是單位并不是特別明確，所以先講一下這部分。另外對于數(shù)據(jù)曲線圖的展示，也有一些點值得說明。

2.1 指標(biāo)

關(guān)于監(jiān)控指標(biāo)數(shù)據(jù)的疑惑，大多可以從PerfMon插件的Metric parameter設(shè)置界面找到答案。我們知道對于服務(wù)器如CPU、內(nèi)存等每一個監(jiān)控指標(biāo)類型，都有多種數(shù)據(jù)從不同維度來體現(xiàn)資源使用情況，比如對于CPU，在Linux系統(tǒng)用top命令，就可以看idle、user、system等數(shù)據(jù)。

對于PerfMon插件，可以通過Metric parameter來設(shè)置某種資源具體要收集和展示的數(shù)據(jù)，只是它的入口并不是很醒目，如下圖4右上的紅色箭頭所指，需要雙擊輸入框后，點擊最后邊的按鈕打開，打開的界面如圖4中級紅色箭頭所指，雖然每種指標(biāo)的具體配置項不同，但結(jié)構(gòu)相同，都分為Primary Metrics、Additional Metrics等等，Primary是官方認(rèn)為常用的，通常也是實際工作中更關(guān)心，更具有參考意義的指標(biāo)項，Additional則是在一些特殊場景可能需要了解的指標(biāo)項。

圖4 監(jiān)控指標(biāo)參數(shù)設(shè)置

圖4 監(jiān)控指標(biāo)參數(shù)設(shè)置

這里先簡單說一下幾種主要的資源類型的指標(biāo)項，對應(yīng)的圖就不貼了，太占篇幅，影響閱讀：

1. CPU：
   • 對于各指標(biāo)項，數(shù)值都是代表百分比，比如默認(rèn)配置(combined)下在曲線圖中看到某個時間的數(shù)值是30，即代表此時總的cpu使用時間占比為30%。
   • 有兩點比較有用的地方值得說明：一是在Scope區(qū)域，可以通過Per Process選項來獲取指定進(jìn)程的CPU使用情況，二是在CPU Cores區(qū)域，我們可以選擇監(jiān)控指定的單個Core。
2. Memory：
   • 各指標(biāo)項中，usedperc(默認(rèn))和freeperc兩項的數(shù)值代表與總內(nèi)存的百分比，其余指標(biāo)項的數(shù)值都是指內(nèi)存大小，選中對應(yīng)想，可以看到Metric Unit區(qū)域單位配置將變?yōu)榭捎?，通常Mb會比較適合觀察。
   • 同樣，也可以選擇監(jiān)控指定進(jìn)程的數(shù)據(jù)
3. Disk I/O:
   • 各指標(biāo)項中，queue(默認(rèn))的數(shù)值代表等待I/O隊列長度，reads、writes分別代表每秒處理的讀/寫次數(shù)，readbytes、writebytes顧名思義，代表每秒讀/寫的數(shù)據(jù)量，單位同樣在Metric Unit區(qū)域配置，通常Mb會比較適合觀察。
     • 如果有掛載多個存儲設(shè)備，可以在Filesystem Filter區(qū)域指定要監(jiān)控的設(shè)備。

剩下的，就不一一說明了，參考前面幾項，我覺得理解其他資源類型的配置應(yīng)該沒有問題了，至于具體指標(biāo)項的含義，首先用不到的可以暫時不去了解，如果想要了解，請善用搜索。

2.2 曲線圖

1. 使用策略：

   • 如果測試場景的測試執(zhí)行時間較長，采集的監(jiān)控數(shù)據(jù)量比較大，為了在GUI模式查看曲線圖時更方便、快捷，建議將各個監(jiān)控指標(biāo)項單獨使用一個PerfMon監(jiān)聽器，從而配置不同的指標(biāo)項數(shù)據(jù)存儲到不同的文件中，測試執(zhí)行完畢后，載入數(shù)據(jù)和數(shù)據(jù)查看都會更快。
     • 如果預(yù)計數(shù)據(jù)量不會太大，可以以服務(wù)器為單位來劃分PerfMon監(jiān)聽器。這樣可以方便的觀察到整個測試過程中，某臺服務(wù)器各項資源使用情況的變化趨勢
     • 對于分布式服務(wù)、為了方便觀察各個節(jié)點的負(fù)載分布、負(fù)載變化趨勢，可以考慮將同類型的節(jié)點放置到同一個PerfMon監(jiān)聽器，以便對比觀察

2. 數(shù)值：

   • 當(dāng)一個PerfMon監(jiān)聽器中展示多種指標(biāo)項的數(shù)據(jù)時，為了曲線圖的可觀察性，插件會自動進(jìn)行優(yōu)化，如圖5所示，我們看到在CPU項和內(nèi)存項都有個x10，代表曲線圖中展示的數(shù)值是在采集到的真實數(shù)值上放大了10倍，目的是為了保證不同數(shù)據(jù)項在同一坐標(biāo)系中展示時，各項都變化趨勢都能夠被觀察到。

圖5 曲線圖

圖5 曲線圖

1. 曲線圖配置：
   • 插件界面的Rows標(biāo)簽頁可以調(diào)整要在曲線圖中展示的指標(biāo)項
   • Setting標(biāo)簽頁中常用的有

     • use relative times用于配置曲線圖x軸表示相對時間(測試開始時為0)還是實際系統(tǒng)時間。

     • Auto-zoom rows for best fit默認(rèn)勾選，則會有上一節(jié)講數(shù)值時提到的展示數(shù)據(jù)自動放大的功能，取消勾選則全部展示采集的實際數(shù)值。

     • Limit number of points in row to xx points：勾選后可以設(shè)定曲線圖展示的采樣點數(shù)量，我們的測試報告會有不同的角色查看，其中一些角色可能不具備也不需要對監(jiān)控數(shù)據(jù)的細(xì)節(jié)理解能力，此時我們提供的監(jiān)控曲線圖應(yīng)該是易讀的，如果按照實際的所有采樣點來渲染出曲線圖，可能會有很多偏離趨勢的噪點數(shù)據(jù)，這對于不了解的人來說可能會有很多疑惑，所以當(dāng)我們有了分析結(jié)論，最后報告呈現(xiàn)的時候，可以考慮通過調(diào)整采樣點，來讓曲線圖更好的展示資源使用趨勢，消除其他不必要的信息。

       圖6 曲線圖配置

       圖6 曲線圖配置

     • Force maximum Y axis value to xx，實際上我更多會選擇不勾選，不勾選的情況下，插件在描繪曲線圖的時候，會根據(jù)數(shù)值大小自動調(diào)整Y軸最大值，以達(dá)到更佳可讀性，如圖7和圖8，分別是不勾選，和勾選后設(shè)置最大值為100時的曲線圖效果，顯然圖7可以更容易的觀察到變化的細(xì)節(jié)。不過與上一項類似，可能在對外出具報告時，為了更少的解釋說明，可能需要某個指定的數(shù)值。

圖7 不自定義Y軸

圖7 不自定義Y軸

圖8 自定義Y軸

圖8 自定義Y軸

2.3 自定義指標(biāo)

1. EXEC
   • 在插件界面選擇指標(biāo)類型時，可以看到一個EXEC選型，該選項允許我們在后面的Metric parameter中配置一個命令語句(該語句最終應(yīng)該輸出單個數(shù)值)，測試執(zhí)行時，ServerAgent將執(zhí)行該命令，同時插件將接收ServerAgent捕獲的輸出數(shù)值。
   • 語法規(guī)則：EXEC所配置的語句需要按照一定的規(guī)則來填寫，先是給出命令的執(zhí)行程序的位置，然后將具體的命令以及命令的參數(shù)作為，命令和命令參數(shù)都需要用冒號”:”來隔開。比如/bin/sh:-c:free |grep Mem |awk '{pring $7}'
     • /bin/sh，代表命令的執(zhí)行程序
     • -c，即/bin/sh的-c選型，有-c選型的情況下，將從后面的字符串按一定規(guī)則解析為命令和命令參數(shù)
     • 可以看到有用冒號分隔了執(zhí)行程序/選型參數(shù)/命令語句
     • 對于windows，也類似，如C\:\Windows\System32\cmd.exe:/c:echo %RANDOM%
2. TAIL
   • 如同Linux的tail命令，讀取文件的最后一行，用在這里，需要文件每一行只包含一個單獨的數(shù)值。借助tail，我們可以通過自定義腳本監(jiān)控任意指標(biāo)，只需要腳本的輸出滿足要求即可。
   • 顯而易見，TAIL后面的參數(shù)就是配置要讀取的文件的地址，測試執(zhí)行時，ServerAgent將根據(jù)配置讀取所在服務(wù)器的指定文件。

叁.總結(jié)

本文先簡單的講解了JMeter性能測試資源監(jiān)控插件的部署，然后從現(xiàn)有指標(biāo)、曲線圖和自定義指標(biāo)三個方面講解了插件使用過程中比較使用的細(xì)節(jié)問題，希望通過本文，讓大家能靈活運用這款插件來快速實現(xiàn)自己的測試需求。