性能指標(biāo)分類

在進(jìn)行性能測試的指標(biāo)監(jiān)控和結(jié)果分析時，可以關(guān)注以下這幾個維度的指標(biāo)：

• 系統(tǒng)性能指標(biāo)
• 資源性能指標(biāo)
• 數(shù)據(jù)庫指標(biāo)
• 中間件指標(biāo)
• 穩(wěn)定性指標(biāo)
• 可擴(kuò)展性指標(biāo)
• 可靠性指標(biāo)

一、系統(tǒng)性能指標(biāo)

系統(tǒng)性能指標(biāo)，幾種常見的：

• 并發(fā)用戶數(shù)
• 錯誤率
• 響應(yīng)時間
• 系統(tǒng)處理能力：TPS、QPS、HPS
• 吞吐量

1、并發(fā)用戶數(shù)

• 定義
  同一時刻，在系統(tǒng)中進(jìn)行業(yè)務(wù)操作的用戶數(shù)量
• 在不同類型系統(tǒng)的區(qū)別；長連接和短連接
  1.在長連接型系統(tǒng)（如即時通訊系統(tǒng)）中，最大并發(fā)用戶數(shù)就是該系統(tǒng)的最大并發(fā)接入能力。由于需要維持長連接，所以并發(fā)用戶數(shù)多對服務(wù)器資源也是個負(fù)擔(dān)（CPU/內(nèi)存/網(wǎng)卡等）
  2.在短連接型系統(tǒng)（如web網(wǎng)站）中，最大并發(fā)用戶數(shù)并不等于該系統(tǒng)的最大并發(fā)介入能力，而是和該系統(tǒng)架構(gòu)、系統(tǒng)處理能力等情況有關(guān)（請求的處理能力、短連接的釋放時機(jī)等考慮）
• 使用
  1.單接口：測試的是這個接口在該并發(fā)用戶數(shù)的情況下的性能
  2.業(yè)務(wù)邏輯：測試業(yè)務(wù)邏輯，需要考慮到系統(tǒng)中不同用戶的不同使用場景，并不是所有用戶都在用系統(tǒng)的同個功能。比如說100個在線用戶，有40%在瀏覽商品，有30%在下訂單，有30%在支付（比例是瞎掰）

2、錯誤率

• 定義
  系統(tǒng)在負(fù)載情況下，請求失敗的比率。錯誤率 = (失敗請求數(shù) / 總請求數(shù))* 100%，或者 (失敗交易數(shù) / 總交易數(shù))* 100%
• 行業(yè)參考標(biāo)準(zhǔn)
  不同行業(yè)不同業(yè)務(wù)系統(tǒng)，性能指標(biāo)中，對高并發(fā)情況下的錯誤率的要求不一致，但大多不能大于0.06%

3、響應(yīng)時間

• 定義
  簡稱RT，指的是系統(tǒng)對請求作出響應(yīng)的時間。有兩種理解，一種前端視角，一種是后端視角：關(guān)注后端的性能測試，基本是接口級別的測試。所以響應(yīng)時間是從 C 端發(fā)出請求開始計算，直到 C 端收到最后一個字節(jié)的響應(yīng)數(shù)據(jù)（也稱之為TTLB，Time to laster byte）。也就是下圖中的N1+T3+T4+T5+T6+T7+T8m
  圖示

  請求響應(yīng)的過程

• 解釋
  響應(yīng)時間的單位一般為毫秒或秒。在一個系統(tǒng)中，有很多個功能，對應(yīng)不同的接口，擁有不同的處理邏輯，所以不同的功能的響應(yīng)時間一般不相同。就算是相同的接口，可能不同的入?yún)?dǎo)致響應(yīng)時間也不一樣（比如提交表單）。所以，在執(zhí)行系統(tǒng)的性能測試時的響應(yīng)時間，一般指該系統(tǒng)參與性能測試的這些功能的平均響應(yīng)時間，或者這些功能中的最大響應(yīng)時間

• 行業(yè)參考標(biāo)準(zhǔn)
  互聯(lián)網(wǎng)上對響應(yīng)時間有一個標(biāo)準(zhǔn)：2-5-10原則
  2秒之內(nèi)得到響應(yīng)，會認(rèn)為系統(tǒng)響應(yīng)的很快
  5秒之內(nèi)得到響應(yīng)，會認(rèn)為系統(tǒng)響應(yīng)的速度還不錯
  10秒之內(nèi)得到響應(yīng)，會認(rèn)為系統(tǒng)響應(yīng)的速度很糟糕
  超過10秒還未得到響應(yīng)，會認(rèn)為系統(tǒng)是沒有響應(yīng)的
  本段摘抄自性能測試的指標(biāo)
  除了這個原則，還需要根據(jù)不同行業(yè)不同類型系統(tǒng)，不同數(shù)據(jù)量，結(jié)合不同場景來制定性能指標(biāo)中的響應(yīng)時間。因為響應(yīng)時間并不能直接說明這個系統(tǒng)的性能高低，而是取決于在使用場景中，用戶對響應(yīng)時間的接受程度

4、系統(tǒng)處理能力：HPS、TPS、QPS

• 定義
  指系統(tǒng)在利用系統(tǒng)硬件平臺和軟件平臺進(jìn)行信息處理的能力。
  系統(tǒng)處理能力通過系統(tǒng)每秒鐘能夠處理的交易數(shù)量來評價，交易有兩種理解：一是業(yè)務(wù)人員角度的一筆業(yè)務(wù)過程；二是系統(tǒng)角度的一次交易申請和響應(yīng)過程。前者稱為業(yè)務(wù)交易過程，后者稱為事務(wù)。兩種交易指標(biāo)都可以評價應(yīng)用系統(tǒng)的處理能力。一般建議與系統(tǒng)交易日志保持一致，以便于統(tǒng)計業(yè)務(wù)量或者交易量。
• 解釋
  HPS（Hits Per Second）：每秒點擊次數(shù)，單位是次/秒。
  TPS（Transaction per Second）：系統(tǒng)每秒處理交易數(shù)，單位是筆/秒。
  QPS（Query per Second）：系統(tǒng)每秒處理查詢次數(shù)，單位是次/秒。
  在互聯(lián)網(wǎng)業(yè)務(wù)中，如果某些業(yè)務(wù)有且僅有一個請求連接，那么TPS=QPS=HPS。一般情況下，用TPS來衡量整個業(yè)務(wù)流程，用QPS來衡量接口查詢次數(shù)，用HPS來表示對服務(wù)器點擊請求。
• 行業(yè)參考標(biāo)準(zhǔn)
  無論TPS、QPS、HPS，此指標(biāo)是衡量系統(tǒng)處理能力非常重要的指標(biāo)，越大越好。
  根據(jù)經(jīng)驗，一般情況下：
  金融行業(yè)：1000TPS~50000TPS，不包括互聯(lián)網(wǎng)化的活動
  保險行業(yè)：100TPS~100000TPS，不包括互聯(lián)網(wǎng)化的活動
  制造行業(yè)：10TPS~5000TPS
  互聯(lián)網(wǎng)電子商務(wù)：10000TPS~1000000TPS
  互聯(lián)網(wǎng)中型網(wǎng)站：1000TPS~50000TPS
  互聯(lián)網(wǎng)小型網(wǎng)站: 500TPS~10000TPS

5、吞吐量/Throughput

• 定義
  吞吐量是指系統(tǒng)在單位時間內(nèi)處理請求的數(shù)量。
• 解釋
  對于單用戶的系統(tǒng)，響應(yīng)時間可以很好地度量系統(tǒng)的性能，但對于并發(fā)系統(tǒng)，通常需要用吞吐量作為性能指標(biāo)。
  對于一個多用戶的系統(tǒng)，如果只有一個用戶使用時系統(tǒng)的平均響應(yīng)時間是t，當(dāng)?shù)衝個用戶使用時，每個用戶的響應(yīng)時間通常并不是n×t，而往往比n×t小很多（不過，在某些特殊情況下也可能比n×t大，甚至大很多）。
• 一般而言，吞吐量是一個比較通用的指標(biāo)，兩個具有不同用戶數(shù)和用戶使用模式的系統(tǒng)，如果其最大吞吐量基本一致，則可以判斷兩個系統(tǒng)的處理能力基本一致。

• Jmeter中吞吐量的計算
  吞吐量 = 總線程數(shù) / 執(zhí)行持續(xù)時間（單位：x個線程/s）
  執(zhí)行持續(xù)時間 = 最后一個線程的啟動時間 + 最后一個線程的持續(xù)時間 - 第一個線程的啟動時間

  
  
  示意圖

二、資源性能指標(biāo)

資源性能指標(biāo)，幾種常見的：

• CPU
• 內(nèi)存
• 磁盤IOPS
• 磁盤吐吞量
• 網(wǎng)絡(luò)吐吞量
  在執(zhí)行性能測試時，如果系統(tǒng)是分服務(wù)部署的，那么需要監(jiān)控所測功能接口的服務(wù)器所在的服務(wù)器的資源指標(biāo)（比如es部署在服務(wù)器A，mysql部署在服務(wù)器B，核心業(yè)務(wù)服務(wù)部署在服務(wù)器C...）；如果所有服務(wù)都只在一個服務(wù)器，那么只需要監(jiān)控該服務(wù)器的資源指標(biāo)即可

1、CPU/中央處理器

• 定義
  CPU是一塊超大規(guī)模的集成電路，是計算機(jī)的控制核心和運算核心。功能主要是解釋計算機(jī)指令以及處理軟件中的數(shù)據(jù)
• 行業(yè)參考標(biāo)準(zhǔn)
  1.CPU的指標(biāo)主要是看CPU利用率，監(jiān)控過程注意總的利用率和服務(wù)的利用率（因為兩者未必相等）
  2.CPU總的利用率應(yīng)該少于80%甚至少于75%
• CPU執(zhí)行狀態(tài)（詳情百度）
  1.用戶態(tài)/user
  2.系統(tǒng)態(tài)/sys：要小于等于30%
  3.等待態(tài)/wait：要小于等于5%
  4.空閑態(tài)/idle

2、內(nèi)存

• 定義
  內(nèi)存是計算機(jī)中十分重要的結(jié)構(gòu)之一，是和CPU進(jìn)行溝通的橋梁。計算機(jī)中所有程序的運行都是在內(nèi)存中進(jìn)行的（進(jìn)程線程），所以內(nèi)存的性能對計算機(jī)的性能、程序的性能影響非常大。
• swap
  swap空間是虛擬內(nèi)存技術(shù)的一種，可以是硬盤上的一塊區(qū)域，或分區(qū)，或文件，也可以是分區(qū)和文件結(jié)合。當(dāng)物理內(nèi)存資源緊張時，操作系統(tǒng)會把一些不常訪問的數(shù)據(jù)存放到swap中，為其他常用的進(jìn)程騰出物理內(nèi)存，當(dāng)要訪問swap的數(shù)據(jù)時，操作系統(tǒng)會再從swap中加載這部分?jǐn)?shù)據(jù)到內(nèi)存中。
  ps.如今swap空間限制是2G，而不是128M

• 行業(yè)參考標(biāo)準(zhǔn)
  一般情況下，服務(wù)器都會配置swap空間。此時，當(dāng)內(nèi)存利用率達(dá)到100%時，并不代表內(nèi)存有瓶頸，還需要結(jié)合看swap空間的利用率，一般情況下，swap空間的利用率要低于70%，太高的話容易導(dǎo)致系統(tǒng)性能降低
  相關(guān)的命令：free -m、vmstat 3(刷新時間)、swapon -s
  參考：文章1、文章12

3、IOPS

• 定義
  IOPS (Input/Output Per Second)即每秒的輸入輸出量/讀寫次數(shù)，是衡量磁盤性能的主要指標(biāo)之一。IOPS是指單位時間內(nèi)系統(tǒng)能處理的I/O請求數(shù)量，一般以每秒處理的I/O請求數(shù)量為單位，I/O請求通常為讀或?qū)憯?shù)據(jù)操作請求。

• 計算公式
  1、常見磁盤平均物理尋道時間為：
  7200轉(zhuǎn)/分的STAT硬盤平均物理尋道時間是9ms
  10000轉(zhuǎn)/分的STAT硬盤平均物理尋道時間是6ms
  15000轉(zhuǎn)/分的SAS硬盤平均物理尋道時間是4ms
  2、常見硬盤的旋轉(zhuǎn)延遲時間為：
  7200 rpm的磁盤平均旋轉(zhuǎn)延遲大約為601000/7200/2 = 4.17ms
  10000 rpm的磁盤平均旋轉(zhuǎn)延遲大約為601000/10000/2 = 3ms，
  15000 rpm的磁盤其平均旋轉(zhuǎn)延遲約為60*1000/15000/2 = 2ms。
  3、最大IOPS的理論計算方法
  IOPS = 1000 ms/ (尋道時間 + 旋轉(zhuǎn)延遲)?？梢院雎詳?shù)據(jù)傳輸時間。
  7200 rpm的磁盤IOPS = 1000 / (9 + 4.17) = 76 IOPS
  10000 rpm的磁盤IOPS = 1000 / (6+ 3) = 111 IOPS
  15000 rpm的磁盤IOPS = 1000 / (4 + 2) = 166 IOPS

• 行業(yè)參考標(biāo)準(zhǔn)
  IOPS可細(xì)分為如下幾個指標(biāo)：
  Toatal IOPS：混合讀寫和順序隨機(jī)I/O負(fù)載情況下的磁盤IOPS，這個與實際I/O情況最為相符，大多數(shù)應(yīng)用關(guān)注此指標(biāo)
  Random Read IOPS：100%隨機(jī)讀負(fù)載情況下的IOPS。
  Random Write IOPS：100%隨機(jī)寫負(fù)載情況下的IOPS。
  Sequential Read IOPS：100%順序讀負(fù)載情況下的IOPS。
  Sequential Write IOPS：100%順序?qū)懾?fù)載情況下的IOPS。

• 相關(guān)命令
  iostat：查看IO狀態(tài)

4、磁盤吞吐量

• 定義
  磁盤吞吐量/Disk Throughput，指的是磁盤正常情況下，單位時間內(nèi)經(jīng)過磁盤的數(shù)據(jù)量（磁盤寫入和讀出的數(shù)據(jù)量），也就是每秒磁盤I/O的流量。

• 行業(yè)參考標(biāo)準(zhǔn)
  最能直接反應(yīng)出磁盤是否有瓶頸的依據(jù)，就是磁盤的使用率。一般情況下，使用率要低于80%甚至70%

• 相關(guān)命令
  df和du：查看磁盤使用情況
  iostat：查看IO狀態(tài)

磁盤IOPS和磁盤吞吐量

• 計算
  每秒 I/O 吞吐量＝ (IOPS) * (平均 I/O SIZE)。
  從公式可以看出： (I/O SIZE 越大)，IOPS 越高，那么每秒 I/O 的吞吐量就越高。因此，我們會認(rèn)為 IOPS 和吞吐量的數(shù)值越高越好。
  實際上，對于一個磁盤來講，這兩個參數(shù)均有其最大值，有上限，而且這兩個參數(shù)也存在著一定的關(guān)系。

• 場景
  1.追求吞吐量的場景：讀取1個10MB文件，用時0.2秒 Throught(吞吐量)=50MB/s, IOPS=5
  2.追求IOPS的場景：讀取10000個1KB文件，用時10秒 Throught(吞吐量)=1MB/s ，IOPS=1000/s

5、網(wǎng)絡(luò)吞吐量

• 定義
  網(wǎng)絡(luò)吞吐量/Network Throughput，是指在正常情況下單位時間內(nèi)通過的網(wǎng)絡(luò)的數(shù)據(jù)數(shù)量，單位為Byte/s。
  網(wǎng)絡(luò)吞吐量指標(biāo)用于衡量系統(tǒng)對于網(wǎng)絡(luò)設(shè)備或鏈路傳輸能力的需求。
  當(dāng)網(wǎng)絡(luò)吞吐量指標(biāo)接近網(wǎng)絡(luò)設(shè)備或鏈路最大傳輸能力時，則需要考慮升級網(wǎng)絡(luò)設(shè)備。

• 行業(yè)參考標(biāo)準(zhǔn)
  網(wǎng)絡(luò)吞吐量一般情況下不能超過設(shè)備或鏈路的最大傳輸能力的70%

• ipraf命令
  安裝使用
  命令詳解

三、數(shù)據(jù)庫指標(biāo)

• 常用的數(shù)據(jù)庫指標(biāo)：

• 行業(yè)參考標(biāo)準(zhǔn)
  1.執(zhí)行SQL耗時越小越好，一般是微妙級
  2.鎖等待次數(shù)越少越好，鎖等待時間越短越好
  3.命中率越高越好，一般不能低于95%

• 實踐
  筆者在性能測試實踐中，在mysql方面的關(guān)注點：
  1.執(zhí)行sql耗時
  2.數(shù)據(jù)庫的連接數(shù)
  3.數(shù)據(jù)庫鎖
  上面三種指標(biāo)，彼此相互影響，可以通過打點輸出日志來監(jiān)控

• 緩存的利弊
  mysql查詢緩存可以改善性能，但是使用的時候需要注意：開啟查詢緩存后，讀寫會增加額外的開銷。因為讀的時候，會先去查詢緩存；寫的時候，在寫入數(shù)據(jù)后需要更新緩存。不過，一般情況下這些消耗都相對比較小，所以查詢緩存一般情況下還是優(yōu)大于弊。當(dāng)然，最終是否需要開啟查詢緩存，需要結(jié)合業(yè)務(wù)的需求。

• 擴(kuò)充知識
  性能測試：數(shù)據(jù)庫

四、中間件指標(biāo)

常用的中間件例如Tomcat、Weblogic等指標(biāo)主要包括JVM, ThreadPool, JDBC,具體如下：

• 行業(yè)參考標(biāo)準(zhǔn)：
  1.當(dāng)前正在運行的線程數(shù)不能超過設(shè)定的最大值。一般情況下系統(tǒng)性能較好的情況下，線程數(shù)最小值設(shè)置50和最大值設(shè)置200比較合適。
  2.當(dāng)前運行的JDBC連接數(shù)不能超過設(shè)定的最大值。一般情況下系統(tǒng)性能較好的情況下，JDBC最小值設(shè)置50和最大值設(shè)置200比較合適。
  3.GC 頻率不能頻繁，特別是FULL GC更不能頻繁，一般情況下系統(tǒng)性能較好的情況下，JVM最小堆大小和最大堆大小分別設(shè)置1024M比較合適。

五、穩(wěn)定性指標(biāo)

• 定義
  穩(wěn)定性測試一般是在系統(tǒng)最大容量的80%或者系統(tǒng)預(yù)期日常壓力下進(jìn)行的，關(guān)注的指標(biāo)有：TPS曲線、資源指標(biāo)變動、最短的穩(wěn)定時間

• 解釋
  最短穩(wěn)定時間是基于下面兩點得出：
  1.TPS曲線穩(wěn)定，沒有太大的波動
  2.資源指標(biāo)沒有出現(xiàn)泄漏等異常情況

• 行業(yè)參考標(biāo)準(zhǔn)
  對于不同使用率的系統(tǒng)，最短穩(wěn)定時間有不同的要求：
  1.對于日常工作使用的系統(tǒng)（運行8-9小時），最短穩(wěn)定時間至少要8個小時
  2.對于7*24小時運行的系統(tǒng)，最短穩(wěn)定時間至少要24小時，并且需要考慮到使用高峰期。
  如果系統(tǒng)不能穩(wěn)定運行，上線之后，隨著業(yè)務(wù)的增長，以及長時間的系統(tǒng)運行，將會出現(xiàn)性能下降，甚至有系統(tǒng)崩潰的風(fēng)險

六、可擴(kuò)展性指標(biāo)

• 定義
  可擴(kuò)展性指的是系統(tǒng)在以集群方式進(jìn)行部署時，增加的硬件資源和增加的性能指標(biāo)之間的關(guān)系
• 計算公式
  擴(kuò)展指標(biāo) = ( 增加的性能 / 之前的性能) / ( 增加的資源 / 之前的資源) *100%
• 解釋
  擴(kuò)展能力是通過多輪的資源增加以及對應(yīng)的性能測試來得出的指標(biāo)趨勢圖。擴(kuò)展能力非常好的系統(tǒng)，擴(kuò)展指標(biāo)應(yīng)該是線性的或者接近線性的。
• 行業(yè)參考標(biāo)準(zhǔn)
  理想的擴(kuò)展能力是資源增加幾倍，那么性能增加至少是其70%

七、可靠性指標(biāo)

從你系統(tǒng)可靠性指標(biāo)度量分析時，可以從三類進(jìn)行：

• 雙機(jī)熱備
• 集群
• 備份和恢復(fù)

1、雙機(jī)熱備

對于將雙機(jī)熱備作為可靠性保障手段的系統(tǒng)，可衡量的指標(biāo)如下：

• 節(jié)點切換是否成功及其消耗時間。
• 雙機(jī)切換是否有業(yè)務(wù)中斷。
• 節(jié)點回切是否成功及其耗時。
• 雙機(jī)回切是否有業(yè)務(wù)中斷。
• 節(jié)點回切過程中的數(shù)據(jù)丟失量在進(jìn)行雙機(jī)切換的同時，使用壓力發(fā)生工具模擬實際業(yè)務(wù)發(fā)生情況，對應(yīng)用保持一定的性能壓力，保證測試結(jié)果符合生產(chǎn)實際情況。

2、集群

對于使用集群方式的系統(tǒng)，主要通過以下方式考量其集群可靠性：

• 集群中某個節(jié)點出現(xiàn)故障時，系統(tǒng)是否有業(yè)務(wù)中斷情況出現(xiàn)
• 在集群中新增一個節(jié)點時，是否需要重啟系統(tǒng)
• 當(dāng)故障節(jié)點恢復(fù)后，加入集群，是否需要重啟系統(tǒng)
• 當(dāng)故障節(jié)點恢復(fù)后，加入集群，系統(tǒng)是否有業(yè)務(wù)中斷情況出現(xiàn)
• 節(jié)點切換需要多長時間在驗證集群可靠性的同時，需根據(jù)具體情況使用壓力工具模擬實際業(yè)務(wù)發(fā)生相關(guān)情況，對應(yīng)用保持一定的性能壓力，確保測試結(jié)果符合生產(chǎn)實際情況。

3、備份和恢復(fù)

本指標(biāo)為了驗證系統(tǒng)的備份/恢復(fù)機(jī)制是否有效可靠，包括系統(tǒng)的備份和恢復(fù)、數(shù)據(jù)庫的備份和恢復(fù)、應(yīng)用的- - 備份和恢復(fù)，包括以下測試內(nèi)容：

• 備份是否成功及其消耗時間。
• 備份是否使用腳本自動化完成。
• 恢復(fù)是否成功及其消耗時間。
• 恢復(fù)是否使用腳本自動化完成指標(biāo)體系的運用原則。
• 指標(biāo)項的采用和考察取決于對相應(yīng)系統(tǒng)的測試目的和測試需求。被測系統(tǒng)不一樣，測試目的不一樣，測試需求也不一樣，考察的指標(biāo)項也有很大差別。
• 部分系統(tǒng)涉及額外的前端用戶接入能力的，需要考察用戶接入并發(fā)能力指標(biāo)。
• 對于批量處理過程的性能驗證，主要考慮批量處理效率并估算批量處理時間窗口。
• 如測試目標(biāo)涉及到系統(tǒng)性能容量，測試需求中應(yīng)根據(jù)相關(guān)指標(biāo)項的定義，明確描述性能指標(biāo)需求。
• 測試指標(biāo)獲取后，需說明相關(guān)的前提條件（如在多少的業(yè)務(wù)量、系統(tǒng)資源情況等）。

總結(jié)

上面所描述的一些點，比如說：可擴(kuò)展性指標(biāo)、可靠性指標(biāo)，甚至中間件指標(biāo)等，都是在大部分公司大部分項目中是不會去進(jìn)行的，但是從產(chǎn)品的整體性能和質(zhì)量保證的角度來看，卻是必須要關(guān)注的。
工作過程中，制定什么樣的測試方案，需要關(guān)注哪些指標(biāo)，需要結(jié)合項目實際情況（包括但不僅限于產(chǎn)品需求、項目時間、可提供設(shè)備、人員素質(zhì)等方面）

PS.本文整理自性能專題：一文搞懂性能測試常見指標(biāo)