零.引言

我們對(duì)被測(cè)應(yīng)用進(jìn)行性能測(cè)試時(shí)，除了關(guān)注吞吐量、響應(yīng)時(shí)間等應(yīng)用自身的表現(xiàn)外，對(duì)應(yīng)用運(yùn)行所涉及的服務(wù)器資源的使用情況，也是非常重要的方面，通過(guò)實(shí)時(shí)監(jiān)控，可以準(zhǔn)確的把握不同測(cè)試場(chǎng)景下服務(wù)器資源消耗情況的變化，對(duì)于應(yīng)用性能分析有著重要的作用，同時(shí)也是調(diào)整測(cè)試場(chǎng)景設(shè)計(jì)的重要依據(jù)。對(duì)于使用JMeter執(zhí)行性能測(cè)試的朋友，可能大都知道jmeter-plugins中就有用于服務(wù)器資源監(jiān)控的插件PerfMon Metrics Collector，同時(shí)也有不少同學(xué)會(huì)選擇類似nmon的獨(dú)立監(jiān)控方案。

之所以決定寫這篇文章，一是因?yàn)樵谑褂肑Meter作為性能測(cè)試工具的情況下，使用專為其設(shè)計(jì)的插件會(huì)更方便，二是對(duì)于普通互聯(lián)網(wǎng)公司的性能測(cè)試方案，這款插件所提供的功能已經(jīng)可以滿足其資源監(jiān)控方面的大多數(shù)需求，而最重要的一點(diǎn)，是在技術(shù)群里發(fā)現(xiàn)雖然很多同學(xué)知道或者在用這款插件，但是對(duì)于一些概念和細(xì)節(jié)，并不了解，導(dǎo)致不能很好的滿足自己的需求，而現(xiàn)在網(wǎng)絡(luò)上介紹這款插件的博客文章，大都是Quick Start式的入門文章，并不能解答這些同學(xué)的疑問(wèn)。
注：本文使用的JMeter版本為當(dāng)前最新release版本3.2。

壹.基礎(chǔ)

本來(lái)PerfMon插件的安裝部署不是本文的重點(diǎn)，但為了保持文章的完整性，這里還是進(jìn)行簡(jiǎn)單的介紹。有基礎(chǔ)的同學(xué)可以跳過(guò)。

使用PerfMon進(jìn)行服務(wù)器資源監(jiān)控的方案由兩部分來(lái)實(shí)現(xiàn)

1. ServerAgent，部署在被測(cè)服務(wù)器，負(fù)責(zé)資源耗用數(shù)據(jù)的采集，其功能實(shí)現(xiàn)主要基于hyperic的SIGAR。
2. PerfMon Listener，以插件形式集成到JMeter，作為其中一個(gè)Listener。

1.1 ServerAgent部署

• 前提：ServerAgent運(yùn)行需要jre1.4以上版本支持。
• 下載：從官方下載
• 部署：將下載的.zip放置到被測(cè)服務(wù)器，解壓后，直接運(yùn)行startAgent.sh(Linux)/startAgent.bat(Windows)即可，與JMeter進(jìn)行數(shù)據(jù)傳輸時(shí)使用簡(jiǎn)單的文本協(xié)議，默認(rèn)使用TCP協(xié)議，默認(rèn)端口4444。當(dāng)然，在Linux，我們通常將其放在后臺(tái)運(yùn)行，比如用nohup。
• 驗(yàn)證：為了保證測(cè)試過(guò)程的順暢，我們可以先行確認(rèn)JMeter壓力機(jī)與被測(cè)服務(wù)器上部署的ServerAgent的通信是否正常。一個(gè)簡(jiǎn)便的方法是在JMeter壓力機(jī)使用telnet像ServerAgent發(fā)送"test"，如telnet 192.168.18.10 4444，連通后，輸入test，正常情況下ServerAgent會(huì)輸出類似INFO 2017-07-29 23:10:52.430 [kg.apc.p] (): Yep, we received the 'test' command的日志。

可以在運(yùn)行腳本時(shí)添加--tcp-port xxx來(lái)指定端口，如$ ./startAgent.sh --tcp-port 3450，需要注意的是此時(shí)JMeterPerfMon插件使用時(shí)也需要對(duì)綁定端口進(jìn)行對(duì)應(yīng)修改。更多信息可以參考下載頁(yè)的官方文檔。

1.2 PerfMon插件使用

• 安裝：JMeter3.0之后，有兩種方式安裝jmeter-plugins所包含的插件。
  • 第一種方式：到jmeter-plugins官網(wǎng)搜索PerfMon并下載，將得到的jar包放置于JMeter安裝目錄的lib/ext/路徑下，重啟JMeter，從Listener中選擇使用插件。
    
    圖1 插件下載
  • 第二種方式：使用Plugins Manager，不過(guò)由于國(guó)內(nèi)眾所周知的原因，很多同學(xué)可能遇到網(wǎng)絡(luò)不通不能展示插件的問(wèn)題，這里就不展開了，可參考我之前的文章：JMeter性能測(cè)試3.0時(shí)代之-全新JMeter插件管理
• 使用：如圖2所示，在Listener中選擇PerfMon插件，添加到測(cè)試計(jì)劃中，然后參考圖3進(jìn)行配置，包括配置部署了ServerAgent的被測(cè)服務(wù)器的IP、ServerAgent使用的端口、要獲取和展示的資源項(xiàng)等。測(cè)試啟動(dòng)后
  
  圖2 使用PerfMon插件
  
  
  圖3 配置
• 數(shù)據(jù)觀察和保存：在使用GUI模式進(jìn)行調(diào)試時(shí)，測(cè)試啟動(dòng)后，可以直接在對(duì)應(yīng)窗口觀察到根據(jù)采集數(shù)據(jù)描繪的圖形。而要在使用NO GUI模式正式執(zhí)行測(cè)試后，查看監(jiān)控?cái)?shù)據(jù)，可以在設(shè)計(jì)測(cè)試計(jì)劃時(shí)在圖3的Filename位置配置數(shù)據(jù)要保存的地址，它和保存JMeter測(cè)試主數(shù)據(jù)的方式一樣，需要注意的是不要和JMeter測(cè)試主數(shù)據(jù)保存到同一個(gè)文件。在測(cè)試執(zhí)行完成后，再在插件界面載入這個(gè)文件，即可顯示監(jiān)控?cái)?shù)據(jù)的圖形展示。

貳.進(jìn)階

從同事、技術(shù)群友們那里，我了解到有不少同學(xué)對(duì)于PerfMon插件展示的各個(gè)指標(biāo)數(shù)據(jù)的含義，特別是單位并不是特別明確，所以先講一下這部分。另外對(duì)于數(shù)據(jù)曲線圖的展示，也有一些點(diǎn)值得說(shuō)明。

2.1 指標(biāo)

關(guān)于監(jiān)控指標(biāo)數(shù)據(jù)的疑惑，大多可以從PerfMon插件的Metric parameter設(shè)置界面找到答案。我們知道對(duì)于服務(wù)器如CPU、內(nèi)存等每一個(gè)監(jiān)控指標(biāo)類型，都有多種數(shù)據(jù)從不同維度來(lái)體現(xiàn)資源使用情況，比如對(duì)于CPU，在Linux系統(tǒng)用top命令，就可以看idle、user、system等數(shù)據(jù)。

對(duì)于PerfMon插件，可以通過(guò)Metric parameter來(lái)設(shè)置某種資源具體要收集和展示的數(shù)據(jù)，只是它的入口并不是很醒目，如下圖4右上的紅色箭頭所指，需要雙擊輸入框后，點(diǎn)擊最后邊的按鈕打開，打開的界面如圖4中級(jí)紅色箭頭所指，雖然每種指標(biāo)的具體配置項(xiàng)不同，但結(jié)構(gòu)相同，都分為Primary Metrics、Additional Metrics等等，Primary是官方認(rèn)為常用的，通常也是實(shí)際工作中更關(guān)心，更具有參考意義的指標(biāo)項(xiàng)，Additional則是在一些特殊場(chǎng)景可能需要了解的指標(biāo)項(xiàng)。

圖4 監(jiān)控指標(biāo)參數(shù)設(shè)置

這里先簡(jiǎn)單說(shuō)一下幾種主要的資源類型的指標(biāo)項(xiàng)，對(duì)應(yīng)的圖就不貼了，太占篇幅，影響閱讀：

1. CPU：
   • 對(duì)于各指標(biāo)項(xiàng)，數(shù)值都是代表百分比，比如默認(rèn)配置(combined)下在曲線圖中看到某個(gè)時(shí)間的數(shù)值是30，即代表此時(shí)總的cpu使用時(shí)間占比為30%。
   • 有兩點(diǎn)比較有用的地方值得說(shuō)明：一是在Scope區(qū)域，可以通過(guò)Per Process選項(xiàng)來(lái)獲取指定進(jìn)程的CPU使用情況，二是在CPU Cores區(qū)域，我們可以選擇監(jiān)控指定的單個(gè)Core。
2. Memory：
   • 各指標(biāo)項(xiàng)中，usedperc(默認(rèn))和freeperc兩項(xiàng)的數(shù)值代表與總內(nèi)存的百分比，其余指標(biāo)項(xiàng)的數(shù)值都是指內(nèi)存大小，選中對(duì)應(yīng)想，可以看到Metric Unit區(qū)域單位配置將變?yōu)榭捎?，通常Mb會(huì)比較適合觀察。
   • 同樣，也可以選擇監(jiān)控指定進(jìn)程的數(shù)據(jù)
3. Disk I/O:
   • 各指標(biāo)項(xiàng)中，queue(默認(rèn))的數(shù)值代表等待I/O隊(duì)列長(zhǎng)度，reads、writes分別代表每秒處理的讀/寫次數(shù)，readbytes、writebytes顧名思義，代表每秒讀/寫的數(shù)據(jù)量，單位同樣在Metric Unit區(qū)域配置，通常Mb會(huì)比較適合觀察。

• 如果有掛載多個(gè)存儲(chǔ)設(shè)備，可以在Filesystem Filter區(qū)域指定要監(jiān)控的設(shè)備。

剩下的，就不一一說(shuō)明了，參考前面幾項(xiàng)，我覺(jué)得理解其他資源類型的配置應(yīng)該沒(méi)有問(wèn)題了，至于具體指標(biāo)項(xiàng)的含義，首先用不到的可以暫時(shí)不去了解，如果想要了解，請(qǐng)善用搜索。

2.2 曲線圖

1. 使用策略：

   • 如果測(cè)試場(chǎng)景的測(cè)試執(zhí)行時(shí)間較長(zhǎng)，采集的監(jiān)控?cái)?shù)據(jù)量比較大，為了在GUI模式查看曲線圖時(shí)更方便、快捷，建議將各個(gè)監(jiān)控指標(biāo)項(xiàng)單獨(dú)使用一個(gè)PerfMon監(jiān)聽器，從而配置不同的指標(biāo)項(xiàng)數(shù)據(jù)存儲(chǔ)到不同的文件中，測(cè)試執(zhí)行完畢后，載入數(shù)據(jù)和數(shù)據(jù)查看都會(huì)更快。
   • 如果預(yù)計(jì)數(shù)據(jù)量不會(huì)太大，可以以服務(wù)器為單位來(lái)劃分PerfMon監(jiān)聽器。這樣可以方便的觀察到整個(gè)測(cè)試過(guò)程中，某臺(tái)服務(wù)器各項(xiàng)資源使用情況的變化趨勢(shì)
   • 對(duì)于分布式服務(wù)、為了方便觀察各個(gè)節(jié)點(diǎn)的負(fù)載分布、負(fù)載變化趨勢(shì)，可以考慮將同類型的節(jié)點(diǎn)放置到同一個(gè)PerfMon監(jiān)聽器，以便對(duì)比觀察

2. 數(shù)值：

   • 當(dāng)一個(gè)PerfMon監(jiān)聽器中展示多種指標(biāo)項(xiàng)的數(shù)據(jù)時(shí)，為了曲線圖的可觀察性，插件會(huì)自動(dòng)進(jìn)行優(yōu)化，如圖5所示，我們看到在CPU項(xiàng)和內(nèi)存項(xiàng)都有個(gè)x10，代表曲線圖中展示的數(shù)值是在采集到的真實(shí)數(shù)值上放大了10倍，目的是為了保證不同數(shù)據(jù)項(xiàng)在同一坐標(biāo)系中展示時(shí)，各項(xiàng)都變化趨勢(shì)都能夠被觀察到。
     
     圖5 曲線圖

3. 曲線圖配置：

   • 插件界面的Rows標(biāo)簽頁(yè)可以調(diào)整要在曲線圖中展示的指標(biāo)項(xiàng)
   • Setting標(biāo)簽頁(yè)中常用的有：
     • use relative times用于配置曲線圖x軸表示相對(duì)時(shí)間(測(cè)試開始時(shí)為0)還是實(shí)際系統(tǒng)時(shí)間。
     • Auto-zoom rows for best fit默認(rèn)勾選，則會(huì)有上一節(jié)講數(shù)值時(shí)提到的展示數(shù)據(jù)自動(dòng)放大的功能，取消勾選則全部展示采集的實(shí)際數(shù)值。
     • Limit number of points in row to xx points：勾選后可以設(shè)定曲線圖展示的采樣點(diǎn)數(shù)量，我們的測(cè)試報(bào)告會(huì)有不同的角色查看，其中一些角色可能不具備也不需要對(duì)監(jiān)控?cái)?shù)據(jù)的細(xì)節(jié)理解能力，此時(shí)我們提供的監(jiān)控曲線圖應(yīng)該是易讀的，如果按照實(shí)際的所有采樣點(diǎn)來(lái)渲染出曲線圖，可能會(huì)有很多偏離趨勢(shì)的噪點(diǎn)數(shù)據(jù)，這對(duì)于不了解的人來(lái)說(shuō)可能會(huì)有很多疑惑，所以當(dāng)我們有了分析結(jié)論，最后報(bào)告呈現(xiàn)的時(shí)候，可以考慮通過(guò)調(diào)整采樣點(diǎn)，來(lái)讓曲線圖更好的展示資源使用趨勢(shì)，消除其他不必要的信息。
       
       圖6 曲線圖配置
     • Force maximum Y axis value to xx，實(shí)際上我更多會(huì)選擇不勾選，不勾選的情況下，插件在描繪曲線圖的時(shí)候，會(huì)根據(jù)數(shù)值大小自動(dòng)調(diào)整Y軸最大值，以達(dá)到更佳可讀性，如圖7和圖8，分別是不勾選，和勾選后設(shè)置最大值為100時(shí)的曲線圖效果，顯然圖7可以更容易的觀察到變化的細(xì)節(jié)。不過(guò)與上一項(xiàng)類似，可能在對(duì)外出具報(bào)告時(shí)，為了更少的解釋說(shuō)明，可能需要某個(gè)指定的數(shù)值。
       
       圖7 不自定義Y軸
       
       
       圖8 自定義Y軸

2.3 自定義指標(biāo)

1. EXEC
   • 在插件界面選擇指標(biāo)類型時(shí)，可以看到一個(gè)EXEC選型，該選項(xiàng)允許我們?cè)诤竺娴腗etric parameter中配置一個(gè)命令語(yǔ)句(該語(yǔ)句最終應(yīng)該輸出單個(gè)數(shù)值)，測(cè)試執(zhí)行時(shí)，ServerAgent將執(zhí)行該命令，同時(shí)插件將接收ServerAgent捕獲的輸出數(shù)值。
   • 語(yǔ)法規(guī)則：EXEC所配置的語(yǔ)句需要按照一定的規(guī)則來(lái)填寫，先是給出命令的執(zhí)行程序的位置，然后將具體的命令以及命令的參數(shù)作為，命令和命令參數(shù)都需要用冒號(hào)":"來(lái)隔開。比如/bin/sh:-c:free |grep Mem |awk '{pring $7}'
     • /bin/sh，代表命令的執(zhí)行程序
     • -c，即/bin/sh的-c選型，有-c選型的情況下，將從后面的字符串按一定規(guī)則解析為命令和命令參數(shù)
     • 可以看到有用冒號(hào)分隔了執(zhí)行程序/選型參數(shù)/命令語(yǔ)句
     • 對(duì)于windows，也類似，如C\:\Windows\System32\cmd.exe:/c:echo %RANDOM%
2. TAIL
   • 如同Linux的tail命令，讀取文件的最后一行，用在這里，需要文件每一行只包含一個(gè)單獨(dú)的數(shù)值。借助tail，我們可以通過(guò)自定義腳本監(jiān)控任意指標(biāo)，只需要腳本的輸出滿足要求即可。
   • 顯而易見(jiàn)，TAIL后面的參數(shù)就是配置要讀取的文件的地址，測(cè)試執(zhí)行時(shí)，ServerAgent將根據(jù)配置讀取所在服務(wù)器的指定文件。

叁.總結(jié)

本文先簡(jiǎn)單的講解了JMeter性能測(cè)試資源監(jiān)控插件的部署，然后從現(xiàn)有指標(biāo)、曲線圖和自定義指標(biāo)三個(gè)方面講解了插件使用過(guò)程中比較使用的細(xì)節(jié)問(wèn)題，希望通過(guò)本文，讓大家能靈活運(yùn)用這款插件來(lái)快速實(shí)現(xiàn)自己的測(cè)試需求。