最好的輸入就是輸出，最近進(jìn)行了一次可用性測(cè)試的分享。分享會(huì)上和大家交流，了解了一些實(shí)操過(guò)程中的重要點(diǎn)，大多是網(wǎng)上沒(méi)有的資料，是一些寶貴的經(jīng)驗(yàn)：
1、正式測(cè)試時(shí)，單個(gè)任務(wù)的時(shí)間怎么計(jì)算。一個(gè)測(cè)試者需要完成3-5個(gè)任務(wù)，一個(gè)任務(wù)一個(gè)卡片，一次發(fā)一張卡片。在測(cè)試前，主持人會(huì)介紹說(shuō)“當(dāng)我說(shuō)開(kāi)始的時(shí)候，你就可以開(kāi)始讀任務(wù)完成任務(wù)了”之類的話。所以從拿到任務(wù)卡片就可以開(kāi)始計(jì)時(shí)。?
2、用戶的行為是不可預(yù)期的。如在實(shí)際測(cè)試的過(guò)程中，就算用戶完成了一個(gè)任務(wù)，他會(huì)繼續(xù)點(diǎn)擊查看其他的內(nèi)容，原因可能是他不確定是否完成了任務(wù)。?
3、一些資料會(huì)推薦一個(gè)用戶的時(shí)間大概是25-40分鐘，時(shí)間長(zhǎng)了可能不耐煩。但是，如果用戶是通過(guò)層層篩選選來(lái)的，是有償?shù)模敲礈y(cè)試時(shí)間可能達(dá)到90分鐘/人，因?yàn)橐M量不浪費(fèi)資源。?
4、測(cè)試過(guò)程中，有的用戶會(huì)表現(xiàn)出煩躁、敷衍等行為，主持人要及時(shí)的停止測(cè)試，因?yàn)闇y(cè)試數(shù)據(jù)可能不準(zhǔn)確。
?5、對(duì)于“精品用戶”，如第3點(diǎn)中提到的，每個(gè)用戶需要測(cè)試90分鐘，那么一般一下午只能安排3名左右的測(cè)試者。
?6、做了就比不做好。專業(yè)的可用性測(cè)試需要專門的設(shè)備、資源，但是也可以根據(jù)自己的實(shí)際預(yù)算、產(chǎn)品的階段進(jìn)行簡(jiǎn)單的可用性測(cè)試。
以下是分享會(huì)的內(nèi)容，分可用性測(cè)試的介紹和步驟兩部分，其中步驟又分為測(cè)試前的準(zhǔn)備、正式測(cè)試、測(cè)試后數(shù)據(jù)的分析3個(gè)小部分。
一、介紹
1、定義
在特定場(chǎng)景中，通過(guò)觀察用戶完成特定任務(wù)時(shí)，所產(chǎn)生的一系列指標(biāo)。常見(jiàn)的3個(gè)指標(biāo)是：有效性、效率、用戶滿意度。
·有效性：用戶完成任務(wù)的完成度，對(duì)應(yīng)用戶目標(biāo)；
·效率：用戶完成任務(wù)需要耗費(fèi)的時(shí)長(zhǎng)；
·用戶滿意度：用戶對(duì)該系統(tǒng)的舒適度和認(rèn)可度，偏主觀。
2、可用性測(cè)試方法有哪些？
網(wǎng)上搜索“可用性測(cè)試”或“usability method”，會(huì)發(fā)現(xiàn)有很多的研究方法，比如原型測(cè)試、問(wèn)卷調(diào)查等幾十種。這是因?yàn)榭捎眯詼y(cè)試并不是單一的方法，它是由多種方法組成的。
根據(jù)自己產(chǎn)品的性質(zhì)、所處的不同階段、經(jīng)費(fèi)等，采用不同的方法組合來(lái)做可用性測(cè)試。比如在產(chǎn)品初期，可能只有概念稿、紙質(zhì)版原型，也是可以做可用性測(cè)試的；公司經(jīng)費(fèi)允許，想做的更專業(yè)，可以找第三方公司做可用性測(cè)試，比如眼動(dòng)測(cè)試就需要專業(yè)的設(shè)備。
此外，可用性測(cè)試并不是專門給用研人員用的。產(chǎn)品經(jīng)理可以驗(yàn)證原型、交互設(shè)計(jì)師可以發(fā)現(xiàn)可用性問(wèn)題、視覺(jué)設(shè)計(jì)師有類似圖標(biāo)的可用性測(cè)試和內(nèi)容的可用性測(cè)試等，所以掌握可用性測(cè)試，是一個(gè)非?；镜募寄?。
下圖列出的是可用性測(cè)試中常見(jiàn)到的一些方法：
在這種圖中，大部分的方法我們工作中都有接觸。從最底部往上看：紅色的是面向?qū)＜业姆椒ǎ热绻緝?nèi)部設(shè)計(jì)方案評(píng)審；綠色方法比如面對(duì)面測(cè)試，如我們平時(shí)找同事尋求意見(jiàn)等；卡片分類法常用在互聯(lián)網(wǎng)行業(yè)中，規(guī)劃和設(shè)計(jì)信息架構(gòu)?！钥捎眯詼y(cè)試的很多子方法，我們都或多或少接觸過(guò)。
3、可用性測(cè)試分類
這么多的方法如何排列組合，怎么用呢？
一般情況，把可用性測(cè)試分為2大類：形成型可用性測(cè)試和總結(jié)型可用性測(cè)試。簡(jiǎn)單看來(lái)這兩大類的區(qū)別是：前者適用于項(xiàng)目前期，后者適用于項(xiàng)目上線后期；前者簡(jiǎn)單快速，后者專業(yè)要求高；前者目的是快速發(fā)現(xiàn)問(wèn)題，后者更傾向于看指標(biāo)數(shù)據(jù)。
下圖是這2大類的具體區(qū)別以及常用的方法：
4、為什么做可用性測(cè)試
所以可用性測(cè)試的本質(zhì)就很好理解了，功能與流程含有不確定性，找到目標(biāo)用戶還原使用場(chǎng)景進(jìn)行測(cè)試驗(yàn)證，以評(píng)測(cè)設(shè)計(jì)是否行得通、哪里需要改進(jìn)，為功能上線減少風(fēng)險(xiǎn)加強(qiáng)容錯(cuò)，減少試錯(cuò)的成本。
5、可用性測(cè)試流程概況
如同餐廳推出一個(gè)新系列的菜品試吃一樣，可用性測(cè)試可與試菜環(huán)節(jié)相類似。為了便于理解，我們以餐廳試菜做比喻。
二、步驟
以試菜為類比，接下來(lái)就講一下可用性測(cè)試的流程是怎樣的。
tips1
就像上新菜一樣，試菜往往是針對(duì)一系列新品的研究，并不是面向整個(gè)菜品的，可用性測(cè)試很少用于研究用戶對(duì)產(chǎn)品或服務(wù)的整體體驗(yàn)。
tips2
試菜流程根據(jù)餐廳實(shí)際情況，可以招募一波試吃路人，也可以小范圍內(nèi)不試吃。所以所，我們給出的可用性測(cè)試步驟，是通用的而非標(biāo)準(zhǔn)，根據(jù)實(shí)際情況取舍。
將可用性測(cè)試的整個(gè)過(guò)程分為：測(cè)前準(zhǔn)備，測(cè)試，測(cè)后分析3大塊。每一塊的關(guān)鍵內(nèi)容如下圖：
測(cè)前準(zhǔn)備
首先要確定目標(biāo)，有了目標(biāo)才能安排計(jì)劃。試菜的目標(biāo)可能是：推出新系列產(chǎn)品，并且借機(jī)宣傳。那么它的計(jì)劃中就要包含邀請(qǐng)媒體報(bào)道了。
1、確定測(cè)試目標(biāo)
2、準(zhǔn)備測(cè)試計(jì)劃
計(jì)劃中包括：目標(biāo)、測(cè)試內(nèi)容、方法、時(shí)間計(jì)劃、用戶招募方案
在規(guī)劃測(cè)試過(guò)程之前，我們需要明確測(cè)試的方式，比如是遠(yuǎn)程測(cè)試還是與用戶面對(duì)面的測(cè)試。注意為了不影響最終測(cè)試結(jié)果，需要保證樣本用戶的測(cè)試方式統(tǒng)一。
3、界定目標(biāo)測(cè)試用戶
用戶招募方案，根據(jù)產(chǎn)品的不同，可能需要不同類型的方法。比如管理員類用戶和普通員工，就是典型的兩種類型的用戶。這2類用戶可能存在重疊，但是測(cè)試功能模塊時(shí)候，要分開(kāi)模塊進(jìn)行測(cè)試。
4、撰寫(xiě)大綱和腳本
5、招募&篩選用戶
可以通過(guò)官方發(fā)布召集令，報(bào)名表信息含有：基本信息、產(chǎn)品使用情況、相關(guān)競(jìng)品使用情況、是否有測(cè)試經(jīng)驗(yàn)、方便時(shí)間。再根據(jù)報(bào)名內(nèi)容，進(jìn)行層層篩選。
根據(jù)第3點(diǎn)中，測(cè)試用戶分類，每類大概招募6-8名用戶。
一般可用性測(cè)試單個(gè)模塊有5個(gè)測(cè)試者，就可以發(fā)現(xiàn)80%左右的問(wèn)題，但是要多出1-2人備選。
專業(yè)類用戶4-5人，自由招募5-6人
6、準(zhǔn)備測(cè)試物資
分兩類，一類物料（會(huì)議室、記錄設(shè)備），一類文檔類。
常用文檔資料如下圖：
可用性測(cè)試中的定量的問(wèn)卷
我們?cè)谧霎a(chǎn)品或系統(tǒng)的可用性測(cè)試后，都想把結(jié)果更好地傳遞給相關(guān)方。除了定性的研究結(jié)果之外，還有定量的可用性問(wèn)卷，這些可用性問(wèn)卷是標(biāo)準(zhǔn)化的，不僅可以科學(xué)地量化用戶體驗(yàn)，也方便相關(guān)方之間有效溝通。
常見(jiàn)的標(biāo)準(zhǔn)化可用性問(wèn)卷有：整體評(píng)估問(wèn)卷、任務(wù)評(píng)估問(wèn)卷和網(wǎng)站感知可用性評(píng)估問(wèn)卷，如下所示：
整體評(píng)估問(wèn)卷
用于完成一系列任務(wù)場(chǎng)景后，對(duì)產(chǎn)品或系統(tǒng)整體的感知可用性測(cè)量。目前使用較廣泛的有：QUIS（Questionnaire For User Interaction Satisfaction）、SUMI（Software Usability Measurement Inventory）、PSSUQ（Post-Study System Usability Questionnaire）、CSUQ（Computer System?questionnaire）、SUS（System Usability Scale）。
任務(wù)評(píng)估問(wèn)卷
每完成一個(gè)場(chǎng)景任務(wù)，讓用戶對(duì)該任務(wù)進(jìn)行感知可用性測(cè)量。目前使用較廣泛的有：ASQ（After-Scenario Questionnaire）、SEQ（Single Ease Question）、SMEQ（Subjective Mental Effort Questionnaire）、ER（Expectation Ratings）、UME（Usability Magnitude Estimation）。
網(wǎng)站感知可用性評(píng)估問(wèn)卷
大部分標(biāo)準(zhǔn)化可用性問(wèn)卷最初在20世紀(jì)80年代中期到后期被開(kāi)發(fā)，在網(wǎng)絡(luò)開(kāi)始流行時(shí)，出現(xiàn)了更有針對(duì)性的評(píng)估網(wǎng)站感知可用性的問(wèn)卷，目前廣泛使用的有：WAMMI（Website Analysis and Measurement Inventory）、SUPRQ（Standardized Universal Percentile Rank Questionnaire）。
測(cè)中（正式測(cè)試）
終于開(kāi)始測(cè)試了，正式的測(cè)試也分了幾個(gè)步驟。
1、測(cè)試介紹：
向用戶簡(jiǎn)單介紹測(cè)試目的和流程，盡量讓他們處于一個(gè)比較放松的狀態(tài)，取得錄制視頻和使用數(shù)據(jù)的許可，簽訂保密協(xié)議；
2、測(cè)試前問(wèn)卷：
測(cè)試產(chǎn)品前，填寫(xiě)一個(gè)簡(jiǎn)單的問(wèn)卷，除了簡(jiǎn)單的個(gè)人信息外需要了解用戶對(duì)相關(guān)產(chǎn)品使用經(jīng)驗(yàn)和習(xí)慣等；
3、測(cè)試場(chǎng)景與任務(wù)：
開(kāi)始進(jìn)行測(cè)試，在用戶完成任務(wù)過(guò)程中觀察用戶的表情和肢體動(dòng)作，在完成任務(wù)后提出一些簡(jiǎn)單的口頭問(wèn)題；
4、任務(wù)后問(wèn)卷：
在完成一個(gè)任務(wù)后，用ASQ(After Scenario Questionnaire)梯度問(wèn)卷調(diào)查滿意度，再進(jìn)行下一個(gè)任務(wù)的測(cè)試；
5、測(cè)試后問(wèn)卷：
在所有任務(wù)完成后，用戶需要填寫(xiě)一個(gè)關(guān)于整體滿意度的梯度問(wèn)卷，通常使用的是SUS(System Usability Scale)——系統(tǒng)可用性量表。
注意事項(xiàng)：
保持測(cè)試環(huán)境免受干擾
向被測(cè)試人員說(shuō)明：測(cè)試內(nèi)容、目的、流程、時(shí)長(zhǎng)、剛剛填寫(xiě)的個(gè)人資料表的處理方式。讓被測(cè)試者有好的認(rèn)識(shí)同時(shí)打消顧慮
測(cè)試過(guò)程中的記錄，錄音、錄像、筆記
記錄人員不要直接告訴被測(cè)試者怎么操作
測(cè)后分析
通過(guò)可用性測(cè)試，我們得到了單個(gè)用戶的記錄內(nèi)容。測(cè)試時(shí)的記錄點(diǎn)：求助節(jié)點(diǎn)、問(wèn)題描述、微表情反應(yīng)。所有跟數(shù)字相關(guān)的數(shù)據(jù)如時(shí)間：后期根據(jù)錄音、錄屏進(jìn)行整理。
下面來(lái)看如何得到文章一開(kāi)始說(shuō)的3個(gè)指標(biāo)，有效性、滿意度、效率
1、有效性
有效性對(duì)應(yīng)用戶是否能成功完成任務(wù)。
功能有效性計(jì)算公式:有效性=(完全完成任務(wù)用戶數(shù)x1+部分完成任務(wù)用戶數(shù)x0.5)/用戶總數(shù)
2、滿意度
滿意度是一個(gè)主觀的感受，為了量化，我們通過(guò)問(wèn)卷調(diào)查的方式來(lái)獲取。滿意度又分為單個(gè)任務(wù)的滿意度和整體的滿意度。分別用ASQ問(wèn)卷和SUS問(wèn)卷獲取。
3、效率
效率對(duì)應(yīng)時(shí)間，用用戶完成單個(gè)任務(wù)的耗時(shí)長(zhǎng)短來(lái)衡量。四舍五入精確到秒,數(shù)值越大效率越低。
效率=平均用時(shí)/熟練用時(shí)
熟練用時(shí)：對(duì)功能熟悉的人（PM、測(cè)試、設(shè)計(jì)師）按照任務(wù)提示進(jìn)行操作，記錄完成操作所需的時(shí)間，多個(gè)人操作取平均值,四舍五入按秒計(jì)時(shí)。
限定時(shí)間：根據(jù)熟練用時(shí)而定,熟練用時(shí)的3～10倍，保證一個(gè)任務(wù)不超10分鐘。計(jì)時(shí)單位：四舍五入精確到分。
完成時(shí)間：
開(kāi)始時(shí)間：用戶拿到任務(wù)卡開(kāi)始計(jì)時(shí)。不要等用戶讀完任務(wù)卡計(jì)時(shí)，因?yàn)橛腥讼矚g讀一條記一條，有人喜歡讀完所有任務(wù)再操作。
結(jié)束時(shí)間：不要在觀察到任務(wù)完成了就結(jié)束，而要用戶宣布自己已完成再結(jié)束，因?yàn)橛腥嗽诓僮魍晗矚g檢查自己是否操作成功。計(jì)時(shí)單位：四舍五入精確到分。
4、可用性水平
通過(guò)以上3個(gè)指標(biāo)，我們可以得到功能的整體的一個(gè)可用性水平。對(duì)有效性,效率,滿意度做量化處理,按照5:3:2的權(quán)重計(jì)算得分：可用性水平=有效性x0.5-效率x0.3+滿意度x0.2
注意，這里的權(quán)重不是固定5:3:2，根據(jù)實(shí)際項(xiàng)目的需求，來(lái)決定占比水平。
5、結(jié)果的利用
注意點(diǎn)：
·可用性測(cè)試得出的結(jié)論可能是體驗(yàn)的優(yōu)化、方案的決策、設(shè)計(jì)的輸入，不會(huì)動(dòng)產(chǎn)品大的方向，是微調(diào)而不是改版
·要做減法而不是加法。發(fā)現(xiàn)了問(wèn)題要取優(yōu)先級(jí)，發(fā)現(xiàn)了更多的需求也要取優(yōu)先級(jí)，上線壓力要減去一些功能
·做了優(yōu)化要去驗(yàn)證，優(yōu)化是否有效
通過(guò)可用性測(cè)試，我們會(huì)得到很多的反饋、問(wèn)題，用Excel表整理問(wèn)題清單，用高中低標(biāo)注，在修改問(wèn)題時(shí)有先后順序
參考文檔
1. Why You Only Need to Test with 5 Users
https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
2.?Usability Test, Even When You Know the Answer
https://www.nngroup.com/articles/test-when-you-know-answer/
3.?Usability Testing 101
https://www.nngroup.com/articles/usability-testing-101/
4.?SUS超全解析
http://www.lanlanwork.com/blog/m/?post=8275
5.?寫(xiě)任務(wù)需避免的10大錯(cuò)誤
https://mp.weixin.qq.com/s/BrBWxBc9zl3WvhNQPfqI5Q
最后，關(guān)于可用性測(cè)試的一些知識(shí)思維導(dǎo)圖、模板等內(nèi)容，感興趣可以私信。有問(wèn)題歡迎交流。
