?摘自：https://help.aliyun.com/document_detail/29338.html?spm=5176.doc29330.6.609.rwLCLR

1 引言

1.1 編寫目的

本文總結(jié)提煉性能測(cè)試相關(guān)項(xiàng)目實(shí)施經(jīng)驗(yàn)，規(guī)范使用性能測(cè)試進(jìn)行性能測(cè)試系統(tǒng)技術(shù)指標(biāo)，規(guī)范技術(shù)測(cè)試結(jié)果評(píng)價(jià)，統(tǒng)一性能測(cè)試技術(shù)測(cè)試質(zhì)量度量。 應(yīng)用系統(tǒng)技術(shù)質(zhì)量度量指標(biāo)范圍廣泛，本文難以涵蓋全部。用常用指標(biāo)來(lái)進(jìn)行說(shuō)明，其他未說(shuō)明指標(biāo)將在后續(xù)測(cè)試工作中繼續(xù)補(bǔ)充和完善本指標(biāo)體系。

1.2 適用對(duì)象和范圍

本指標(biāo)適用于使用性能測(cè)試進(jìn)行性能測(cè)試項(xiàng)目技術(shù)質(zhì)量評(píng)價(jià)依據(jù)。 預(yù)期讀者為測(cè)試管理人員、測(cè)試實(shí)施人員、技術(shù)支持人員、項(xiàng)目管理人員等系統(tǒng)技術(shù)質(zhì)量相關(guān)人員。

2 系統(tǒng)性能指標(biāo)

2.1 業(yè)務(wù)指標(biāo)

業(yè)務(wù)指標(biāo)主要包括并發(fā)用戶數(shù)、響應(yīng)時(shí)間、處理能力，這三個(gè)指標(biāo)有一定的關(guān)系的，具體可參照：《并發(fā)用戶數(shù)與TPS關(guān)系》

2.1.1 交易響應(yīng)時(shí)間

2.1.1.1 定義及解釋

響應(yīng)時(shí)間指用戶從客戶端發(fā)起一個(gè)請(qǐng)求開始，到客戶端接收到從服務(wù)器端返回的響應(yīng)結(jié)束，整個(gè)過(guò)程所耗費(fèi)的時(shí)間。在性能檢測(cè)中一般以測(cè)試環(huán)境中壓力發(fā)起端至服務(wù)器返回處理結(jié)果的時(shí)間為計(jì)量，單位一般為秒或毫秒,該時(shí)間不同于模擬真實(shí)環(huán)境的用戶體驗(yàn)時(shí)間。

平均響應(yīng)時(shí)間：指系統(tǒng)穩(wěn)定運(yùn)行時(shí)間段內(nèi)，同一交易的平均響應(yīng)時(shí)間。一般而言，交易響應(yīng)時(shí)間均指平均響應(yīng)時(shí)間。

平均響應(yīng)時(shí)間指標(biāo)值應(yīng)根據(jù)不同的交易分別設(shè)定，一般情況下，分為復(fù)雜交易響應(yīng)時(shí)間、簡(jiǎn)單交易響應(yīng)時(shí)間、特殊交易響應(yīng)時(shí)間。其中，特殊交易響應(yīng)時(shí)間的設(shè)定必須明確該交易在響應(yīng)時(shí)間方面的特殊性。

2.1.1.2 簡(jiǎn)稱

Response Time: RT

2.1.1.3 標(biāo)準(zhǔn)

不同行業(yè)不同業(yè)務(wù)可接受的響應(yīng)時(shí)間是不同的，一般情況，對(duì)于在線實(shí)時(shí)交易：

互聯(lián)網(wǎng)企業(yè)：500毫秒以下，例如淘寶業(yè)務(wù)10毫秒左右。

金融企業(yè)：1秒以下為佳，部分復(fù)雜業(yè)務(wù)3秒以下。

保險(xiǎn)企業(yè)：3秒以下為佳。

制造業(yè)：5秒以下為佳。

對(duì)于批量交易：

時(shí)間窗口：不同數(shù)據(jù)量結(jié)果是不一樣的，大數(shù)據(jù)量的情況下，2小時(shí)內(nèi)完成。

2.1.2 系統(tǒng)處理能力

2.1.2.1 定義及解釋

系統(tǒng)處理能力是指系統(tǒng)在利用系統(tǒng)硬件平臺(tái)和軟件平臺(tái)進(jìn)行信息處理的能力。

系統(tǒng)處理能力通過(guò)系統(tǒng)每秒鐘能夠處理的交易數(shù)量來(lái)評(píng)價(jià)，交易有兩種理解：一是業(yè)務(wù)人員角度的一筆業(yè)務(wù)過(guò)程；二是系統(tǒng)角度的一次交易申請(qǐng)和響應(yīng)過(guò)程。前者稱為業(yè)務(wù)交易過(guò)程，后者稱為事務(wù)。兩種交易指標(biāo)都可以評(píng)價(jià)應(yīng)用系統(tǒng)的處理能力。一般的建議與系統(tǒng)交易日志保持一致，以便于統(tǒng)計(jì)業(yè)務(wù)量或者交易量。系統(tǒng)處理能力指標(biāo)是技術(shù)測(cè)試活動(dòng)中重要指標(biāo)。

2.1.2.2 簡(jiǎn)稱

一般情況下，用以下幾個(gè)指標(biāo)來(lái)度量：

HPS（Hits Per Second） ：每秒點(diǎn)擊次數(shù)，單位是次/秒。

TPS（Transaction per Second）：系統(tǒng)每秒處理交易數(shù)，單位是筆/秒。

QPS（Query per Second）：系統(tǒng)每秒處理查詢次數(shù)，單位是次/秒。

對(duì)于互聯(lián)網(wǎng)業(yè)務(wù)中，如果某些業(yè)務(wù)有且僅有一個(gè)請(qǐng)求連接，那么TPS=QPS=HPS，一般情況下用TPS來(lái)衡量整個(gè)業(yè)務(wù)流程，用QPS來(lái)衡量接口查詢次數(shù)，用HPS來(lái)表示對(duì)服務(wù)器點(diǎn)擊請(qǐng)求。

2.1.2.3 標(biāo)準(zhǔn)

無(wú)論TPS、QPS、HPS,此指標(biāo)是衡量系統(tǒng)處理能力非常重要的指標(biāo)，越大越好，根據(jù)經(jīng)驗(yàn)，一般情況下：

金融行業(yè)：1000TPS~9000TPS

保險(xiǎn)行業(yè)：100TPS~1000TPS

制造行業(yè)：10TPS~50TPS

互聯(lián)網(wǎng)電子商務(wù)：10000TPS~100000TPS,例如天貓5萬(wàn)TPS

互聯(lián)網(wǎng)中型網(wǎng)站：100TPS~500TPS

互聯(lián)網(wǎng)小型網(wǎng)站: 50TPS~100TPS

2.1.3 并發(fā)用戶數(shù)

2.1.3.1 定義及解釋

并發(fā)用戶數(shù)指在同一時(shí)刻內(nèi)，登錄系統(tǒng)并進(jìn)行業(yè)務(wù)操作的用戶數(shù)量。

并發(fā)用戶數(shù)對(duì)于長(zhǎng)連接系統(tǒng)來(lái)說(shuō)最大并發(fā)用戶數(shù)即是系統(tǒng)的并發(fā)接入能力。對(duì)于短連接系統(tǒng)而言最大并發(fā)用戶數(shù)并不等于系統(tǒng)的并發(fā)接入能力，而是與系統(tǒng)架構(gòu)、系統(tǒng)處理能力等各種情況相關(guān)。

在測(cè)試中，采用虛擬用戶來(lái)模擬現(xiàn)實(shí)中用戶進(jìn)行業(yè)務(wù)操作。

2.1.3.2 簡(jiǎn)稱

Virtual User: VU

2.1.3.3 標(biāo)準(zhǔn)

一般情況下，性能測(cè)試是將系統(tǒng)處理能力容量測(cè)出來(lái)，而不是測(cè)試并發(fā)用戶數(shù)，除了服務(wù)器長(zhǎng)連接可能影響并發(fā)用戶數(shù)外，系統(tǒng)處理能力不受并發(fā)用戶數(shù)影響，可以用最小的用戶數(shù)將系統(tǒng)處理能力容量測(cè)試出來(lái)，也可以用更多的用戶將系統(tǒng)處理能力容量測(cè)試出來(lái)。

2.1.4 錯(cuò)誤率

2.1.4.1 定義及解釋

錯(cuò)誤率指系統(tǒng)在負(fù)載情況下，失敗交易的概率。錯(cuò)誤率＝(失敗交易數(shù)/交易總數(shù))*100%。穩(wěn)定性較好的系統(tǒng)，其錯(cuò)誤率應(yīng)該由超時(shí)引起，即為超時(shí)率。

2.1.4.2 簡(jiǎn)稱

Failure Ratio: FR

2.1.4.3 標(biāo)準(zhǔn)

不同系統(tǒng)對(duì)錯(cuò)誤率的要求不同，但一般不超出千分之六，即成功率不低于99.4%

2.2 資源指標(biāo)

2.2.1 CPU

2.2.1.1 定義及解釋

中央處理器是一塊超大規(guī)模的集成電路，是一臺(tái)計(jì)算機(jī)的運(yùn)算核心（Core）和控制核心（ Control Unit）。它的功能主要是解釋計(jì)算機(jī)指令以及處理計(jì)算機(jī)軟件中的數(shù)據(jù)。 CPU Load: 系統(tǒng)正在干活的多少的度量，隊(duì)列長(zhǎng)度。系統(tǒng)平均負(fù)載。

2.2.1.2 簡(jiǎn)稱

Central Processing Unit：CPU

2.2.1.3 標(biāo)準(zhǔn)

CPU指標(biāo)主要指的CPU利用率，包括用戶態(tài)(user)、系統(tǒng)態(tài)(sys)、等待態(tài)(wait)、空閑態(tài)(idle)。 CPU 利用率要低于業(yè)界警戒值范圍之內(nèi)，即小于或者等于75%;CPU sys%小于或者等于30%, CPU wait%小于或者等于5%。

單核CPU也需遵循上述指標(biāo)要求。

CPU Load要小于CPU 核數(shù)。

2.2.2 Memory

2.2.2.1 定義及解釋

內(nèi)存是計(jì)算機(jī)中重要的部件之一，它是與CPU進(jìn)行溝通的橋梁。計(jì)算機(jī)中所有程序的運(yùn)行都是在內(nèi)存中進(jìn)行的，因此內(nèi)存的性能對(duì)計(jì)算機(jī)的影響非常大。

2.2.2.2 簡(jiǎn)稱

Memory就是內(nèi)存的簡(jiǎn)稱。

2.2.2.3 標(biāo)準(zhǔn)

現(xiàn)代的操作系統(tǒng)為了最大利用內(nèi)存，在內(nèi)存中存放了緩存，因此內(nèi)存利用率100%并不代表內(nèi)存有瓶頸，衡量系統(tǒng)內(nèi)有有瓶頸主要靠SWAP（與虛擬內(nèi)存交換）交換空間利用率，一般情況下，SWAP交換空間利用率要低于70%,太多的交換將會(huì)引起系統(tǒng)性能低下。

2.2.3 磁盤吞吐量

2.2.3.1 定義及解釋

磁盤吞吐量是指在無(wú)磁盤故障的情況下單位時(shí)間內(nèi)通過(guò)磁盤的數(shù)據(jù)量。

2.2.3.2 簡(jiǎn)稱

Disk Throughput.

2.2.3.3 標(biāo)準(zhǔn)

磁盤指標(biāo)主要有每秒讀寫多少兆，磁盤繁忙率，磁盤隊(duì)列數(shù)，平均服務(wù)時(shí)間，平均等待時(shí)間，空間利用率。

其中磁盤繁忙率是直接反映磁盤是否有瓶頸的的重要依據(jù)，一般情況下，磁盤繁忙率要低于70%。

2.2.4 網(wǎng)絡(luò)吞吐量

2.2.4.1 定義及解釋

網(wǎng)絡(luò)吞吐量是指在無(wú)網(wǎng)絡(luò)故障的情況下單位時(shí)間內(nèi)通過(guò)的網(wǎng)絡(luò)的數(shù)據(jù)數(shù)量。單位為Byte/s。

網(wǎng)絡(luò)吞吐量指標(biāo)用于衡量系統(tǒng)對(duì)于網(wǎng)絡(luò)設(shè)備或鏈路傳輸能力的需求。當(dāng)網(wǎng)絡(luò)吞吐量指標(biāo)接近網(wǎng)絡(luò)設(shè)備或鏈路最大傳輸能力時(shí)，則需要考慮升級(jí)網(wǎng)絡(luò)設(shè)備。

2.2.4.2 簡(jiǎn)稱

Network Throughput

2.2.4.3 標(biāo)準(zhǔn)

網(wǎng)絡(luò)吞吐量指標(biāo)主要有每秒有多少兆流量進(jìn)出，一般情況下不能超過(guò)設(shè)備或鏈路最大傳輸能力的70%。

2.2.5 內(nèi)核參數(shù)

操作系統(tǒng)內(nèi)核參數(shù)主要包括信號(hào)量、進(jìn)程、文件句柄，一般不要超過(guò)設(shè)置的參數(shù)值即可，具體如下:

一級(jí)指標(biāo)二級(jí)指標(biāo)單位解釋備注

內(nèi)核參數(shù)Maxuprc個(gè)限制每個(gè)用戶的用戶進(jìn)程的最大數(shù)量

Max_thread_proc個(gè)定義每個(gè)進(jìn)程允許的最大線程數(shù)量

Filecache_max字節(jié)最大可用于cache file I/O的物理內(nèi)存

Ninode個(gè)內(nèi)存中 HFS 文件系統(tǒng)打開 i 節(jié)點(diǎn)的最大數(shù)量

Nkthread個(gè)限制允許同時(shí)運(yùn)行的線程數(shù)量

Nproc個(gè)限制允許同時(shí)運(yùn)行的進(jìn)程數(shù)量

Nstrpty個(gè)基于 STREAMS 的偽終端 (pts) 的最大數(shù)量

Maxdsiz字節(jié)任何用戶進(jìn)程的數(shù)據(jù)段的最大大?。ㄒ宰止?jié)為單位）

maxdsiz_64bit字節(jié)任何用戶進(jìn)程的數(shù)據(jù)段的最大大小（以字節(jié)為單位）

maxfiles_lim個(gè)每個(gè)進(jìn)程的文件描述符的最大數(shù)目硬限制

maxssiz_64bit字節(jié)任何用戶進(jìn)程的堆棧的最大大小

Maxtsiz字節(jié)任一用戶進(jìn)程的文本段的最大大小

nflocks個(gè)文件鎖的最大數(shù)量

maxtsiz_64bit字節(jié)任一用戶進(jìn)程的文本段的最大大小

msgmni個(gè)系統(tǒng)級(jí) System V IPC 消息隊(duì)列 (ID) 所允許的最大數(shù)量

msgtql個(gè)系統(tǒng)中任意時(shí)間的最大 System V IPC 消息數(shù)

npty個(gè)BSD 偽終端 (pty) 的最大數(shù)量

nstrtel個(gè)指定內(nèi)核可支持傳入 telnet 會(huì)話的 telnet 設(shè)備文件的數(shù)量

nswapdev個(gè)可用于交換的設(shè)備的最大數(shù)量

nswapfs個(gè)可用于交換的文件系統(tǒng)的最大數(shù)量

semmni個(gè)System V IPC 系統(tǒng)級(jí)信號(hào)量標(biāo)識(shí)符的數(shù)量

semmns個(gè)System V 系統(tǒng)級(jí)信號(hào)量的數(shù)量

shmmax字節(jié)System V 共享內(nèi)存段的最大大小

shmmni個(gè)系統(tǒng)中 System V 共享內(nèi)存段標(biāo)識(shí)符的數(shù)量

shmseg個(gè)每個(gè)進(jìn)程 System V 共享內(nèi)存段的最大數(shù)量

2.3 中間件指標(biāo)

2.3.1 定義及解釋

常用的中間件例如Tomcat、Weblogic等指標(biāo)主要包括JVM, ThreadPool, JDBC,具體如下：

一級(jí)指標(biāo)二級(jí)指標(biāo)單位解釋備注

GCGC頻率每秒多少次java虛擬機(jī)垃圾部分回收頻率

Full GC頻率每小時(shí)多少次java虛擬機(jī)垃圾完全回收頻率

Full GC平均時(shí)長(zhǎng)秒用于垃圾完全回收的平均時(shí)長(zhǎng)

Full GC最大時(shí)長(zhǎng)秒用于垃圾完全回收的最大時(shí)長(zhǎng)

堆使用率百分比堆使用率

ThreadPoolActive Thread Count個(gè)活動(dòng)的線程數(shù)

Pending User Request個(gè)處于排隊(duì)的用戶請(qǐng)求個(gè)數(shù)

JDBCJDBC Active Connection個(gè)JDBC活動(dòng)連接數(shù)

2.3.2 標(biāo)準(zhǔn)

當(dāng)前正在運(yùn)行的線程數(shù)不能超過(guò)設(shè)定的最大值。一般情況下系統(tǒng)性能較好的情況下，線程數(shù)最小值設(shè)置50和最大值設(shè)置200比較合適。

當(dāng)前運(yùn)行的JDBC連接數(shù)不能超過(guò)設(shè)定的最大值。一般情況下系統(tǒng)性能較好的情況下，JDBC最小值設(shè)置50和最大值設(shè)置200比較合適。

ＧＣ頻率不能頻繁，特別是FULL GC更不能頻繁，一般情況下系統(tǒng)性能較好的情況下，JVM最小堆大小和最大堆大小分別設(shè)置1024M比較合適。

2.4 數(shù)據(jù)庫(kù)指標(biāo)

2.4.1 定義及解釋

常用的數(shù)據(jù)庫(kù)例如ＭySQL指標(biāo)主要包括SQL、吞吐量、緩存命中率、連接數(shù)等，具體如下：

一級(jí)指標(biāo)二級(jí)指標(biāo)單位解釋備注

SQL耗時(shí)微秒執(zhí)行SQL耗時(shí)

吞吐量QPS個(gè)每秒查詢次數(shù)

TPS個(gè)每秒事務(wù)次數(shù)

命中率Key Buffer命中率百分之索引緩沖區(qū)命中率

InnoDB Buffer命中率百分之InnoDB緩沖區(qū)命中率

Query Cache命中率百分之查詢緩存命中率

Table Cache命中率百分之表緩存命中率

Thread Cache命中率百分之線程緩存命中率

鎖等待次數(shù)次鎖等待次數(shù)

等待時(shí)間微秒鎖等待時(shí)間

2.4.2 標(biāo)準(zhǔn)

SQL耗時(shí)越小越好，一般情況下微秒級(jí)別。

命中率越高越好，一般情況下不能低于95%。

鎖等待次數(shù)越低越好，等待時(shí)間越短越好。

2.5 前端指標(biāo)

2.5.1 定義及解釋

前端指標(biāo)主要包括頁(yè)面展示和網(wǎng)絡(luò)所花的時(shí)間，具體如下：

一級(jí)指標(biāo)二級(jí)指標(biāo)單位解釋備注

頁(yè)面展示首次顯示時(shí)間毫秒在瀏覽器地址欄輸入U(xiǎn)RL按回車到用戶看到網(wǎng)頁(yè)的第一個(gè)視覺(jué)標(biāo)志為止

OnLoad事件時(shí)間毫秒瀏覽器觸發(fā)onLoad事件的時(shí)間，當(dāng)原始文檔和所有引用的內(nèi)容完全下載后才會(huì)觸發(fā)這個(gè)事件

完全載入的時(shí)間毫秒所有onLoad JavaScript 處理程序執(zhí)行完畢，所有動(dòng)態(tài)的或延遲加載的內(nèi)容都通過(guò)這些處理程序觸發(fā)的時(shí)間

頁(yè)面數(shù)量頁(yè)面大小KB整個(gè)頁(yè)面大小

請(qǐng)求數(shù)量次從網(wǎng)站下載資源時(shí)所有網(wǎng)絡(luò)請(qǐng)求的總數(shù)，盡量少

網(wǎng)絡(luò)DNS時(shí)間毫秒DNS查找時(shí)間

連接時(shí)間毫秒連接時(shí)間就是瀏覽器與Web服務(wù)器建立TCP/IP連接的時(shí)間

服務(wù)器時(shí)間毫秒服務(wù)器處理時(shí)間

傳輸時(shí)間毫秒內(nèi)容傳輸所用時(shí)間

等待時(shí)間毫秒等待某個(gè)資源釋放的時(shí)間

2.5.2 標(biāo)準(zhǔn)

頁(yè)面要盡可能小及壓縮。

頁(yè)面展示和花費(fèi)時(shí)間越短越好。

2.6 穩(wěn)定性指標(biāo)

2.6.1 定義及解釋

最短穩(wěn)定時(shí)間：系統(tǒng)按照最大容量的80%或標(biāo)準(zhǔn)壓力（系統(tǒng)的預(yù)期日常壓力）情況下運(yùn)行，能夠穩(wěn)定運(yùn)行的最短時(shí)間。

一般來(lái)說(shuō)，對(duì)于正常工作日（8小時(shí)）運(yùn)行的系統(tǒng)，至少應(yīng)該能保證系統(tǒng)穩(wěn)定運(yùn)行８小時(shí)以上。對(duì)于7*24運(yùn)行的系統(tǒng)，至少應(yīng)該能夠保證系統(tǒng)穩(wěn)定運(yùn)行24小時(shí)以上。

如果系統(tǒng)不能穩(wěn)定的運(yùn)行，上線后，隨著業(yè)務(wù)量的增長(zhǎng)和長(zhǎng)時(shí)間運(yùn)行，將會(huì)出現(xiàn)性能下降甚至崩潰的風(fēng)險(xiǎn)。

2.6.2 標(biāo)準(zhǔn)

TPS曲線穩(wěn)定，沒(méi)有大幅度的波動(dòng)。

各項(xiàng)資源指標(biāo)沒(méi)有泄露或異常情況。

2.7 批量處理指標(biāo)

2.7.1 定義及解釋

指批量處理程序單位時(shí)間內(nèi)處理的數(shù)據(jù)數(shù)量。一般用每秒處理的數(shù)據(jù)量來(lái)衡量。處理效率是估算批量處理時(shí)間窗口最重要的計(jì)算指標(biāo)。

關(guān)于批量處理時(shí)間窗口，不同系統(tǒng)的批量處理時(shí)間窗口在起止時(shí)間上可以部分重疊。另外，同一系統(tǒng)內(nèi)部，也可能存在多個(gè)批量處理過(guò)程同時(shí)進(jìn)行，其時(shí)間窗口相互疊加。

長(zhǎng)時(shí)間批量處理將會(huì)對(duì)聯(lián)機(jī)在線實(shí)時(shí)交易產(chǎn)生重大的性能影響。

2.7.2 標(biāo)準(zhǔn)

在數(shù)據(jù)量很大的情況下，批處理時(shí)間窗口時(shí)間越短越好。

不能影響實(shí)時(shí)交易系統(tǒng)性能。

2.8 可擴(kuò)展性指標(biāo)

2.8.1 定義及解釋

指應(yīng)用軟件或操作系統(tǒng)以群集方式部署，增加的硬件資源與增加的處理能力之間的關(guān)系。計(jì)算公式為：（增加性能/原始性能）/（增加資源/原始資源）*100%。

擴(kuò)展能力應(yīng)通過(guò)多輪測(cè)試獲得擴(kuò)展指標(biāo)的變化趨勢(shì)。

一般擴(kuò)展能力你常好的應(yīng)用系統(tǒng)，擴(kuò)展指標(biāo)應(yīng)是線性或接近線性的，現(xiàn)在很多大規(guī)模的分布式系統(tǒng)的擴(kuò)展能力非常好。

2.8.2 標(biāo)準(zhǔn)

理想的擴(kuò)展能力是資源增加幾倍，性能就提升幾倍。

擴(kuò)展能力至少在70%以上。

2.9 可靠性指標(biāo)

2.9.1 雙機(jī)熱備

對(duì)于將雙機(jī)熱備作為可靠性保障手段的系統(tǒng)，可衡量的指標(biāo)如下：

節(jié)點(diǎn)切換是否成功及其消耗時(shí)間

雙機(jī)切換是否有業(yè)務(wù)中斷

節(jié)點(diǎn)回切是否成功及其耗時(shí)

雙機(jī)回切是否有業(yè)務(wù)中斷

節(jié)點(diǎn)回切過(guò)程中的數(shù)據(jù)丟失量

在進(jìn)行雙機(jī)切換的同時(shí)，使用壓力發(fā)生工具模擬實(shí)際業(yè)務(wù)發(fā)生情況，對(duì)應(yīng)用保持一定的性能壓力，保證測(cè)試結(jié)果符合生產(chǎn)實(shí)際情況。

2.9.2 集群

對(duì)于使用集群方式的系統(tǒng)，主要通過(guò)以下方式考量其集群可靠性：

集群中某個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí)，系統(tǒng)是否有業(yè)務(wù)中斷情況出現(xiàn)

在集群中新增一個(gè)節(jié)點(diǎn)時(shí)，是否需要重啟系統(tǒng)

當(dāng)故障節(jié)點(diǎn)恢復(fù)后，加入集群，是否需要重啟系統(tǒng)

當(dāng)故障節(jié)點(diǎn)恢復(fù)后，加入集群，系統(tǒng)是否有業(yè)務(wù)中斷情況出現(xiàn)

節(jié)點(diǎn)切換需要多長(zhǎng)時(shí)間

在驗(yàn)證集群可靠性的同時(shí)，需根據(jù)具體情況使用壓力工具模擬實(shí)際業(yè)務(wù)發(fā)生相關(guān)情況，對(duì)應(yīng)用保持一定的性能壓力，確保測(cè)試結(jié)果符合生產(chǎn)實(shí)際情況。

2.9.3 備份和恢復(fù)

本指標(biāo)為了驗(yàn)證系統(tǒng)的備份/恢復(fù)機(jī)制是否有效可靠，包括系統(tǒng)的備份和恢復(fù)、數(shù)據(jù)庫(kù)的備份和恢復(fù)、應(yīng)用的備份和恢復(fù)，包括以下測(cè)試內(nèi)容：

備份是否成功及其消耗時(shí)間

備份是否使用腳本自動(dòng)化完成

恢復(fù)是否成功及其消耗時(shí)間

恢復(fù)是否使用腳本自動(dòng)化完成

指標(biāo)體系的運(yùn)用原則

指標(biāo)項(xiàng)的采用和考察取決于對(duì)相應(yīng)系統(tǒng)的測(cè)試目的和測(cè)試需求。被測(cè)系統(tǒng)不一樣，測(cè)試目的不一樣，測(cè)試需求也不一樣，考察的指標(biāo)項(xiàng)也有很大差別。

部分系統(tǒng)涉及額外的前端用戶接入能力的，需要考察用戶接入并發(fā)能力指標(biāo)。

對(duì)于批量處理過(guò)程的性能驗(yàn)證，主要考慮批量處理效率并估算批量處理時(shí)間窗口。

如測(cè)試目標(biāo)涉及到系統(tǒng)性能容量，測(cè)試需求中應(yīng)根據(jù)相關(guān)指標(biāo)項(xiàng)的定義，明確描述性能指標(biāo)需求。

測(cè)試指標(biāo)獲取后，需說(shuō)明相關(guān)的前提條件（如在多少的業(yè)務(wù)量、系統(tǒng)資源情況等）。