為什么需要進(jìn)行可用性度量？

用戶體驗(yàn)等概念本身具有強(qiáng)烈的模糊性，反映的多是用戶認(rèn)知、操作和主觀感受等層面的體驗(yàn)，這就注定對(duì)用戶體驗(yàn)的測量離不開經(jīng)驗(yàn)型的評(píng)估方法。

本書的可用性度量在實(shí)踐中可用于任何類型的產(chǎn)品和技術(shù)，不限于網(wǎng)站或任何其他單一的技術(shù)，其任務(wù)成功（率）和滿意度都同樣有效。

什么是可用性？

用戶參與；用戶需要做一些事情；用戶需要一個(gè)產(chǎn)品/系統(tǒng)/其他物件做事情。（特定使用情境下，特定的用戶完成特定的目標(biāo)時(shí)，產(chǎn)品所表現(xiàn)出來的效果、效率和令人滿意程度）

如何區(qū)分可用性和用戶體驗(yàn)兩個(gè)概念？

可用性通常關(guān)注的是用戶使用產(chǎn)品成功完成某任務(wù)時(shí)的能力；用戶體驗(yàn)則著眼于一個(gè)更大的視角，強(qiáng)調(diào)的是用戶與產(chǎn)品之間的所有交互以及對(duì)交互結(jié)果的想法、情感和感知。“大視角”可用性測查的是整體用戶體驗(yàn)。

度量：一種測量或評(píng)價(jià)特定現(xiàn)象或事物的方法。

可用性度量：有效（能否完成某個(gè)任務(wù)）、效率（完成任務(wù)時(shí)所需要付出的努力程度）、滿意度（操作任務(wù)時(shí)，用戶體驗(yàn)滿意的程度）

可用性度量可以回答以下問題：

用戶會(huì)喜歡這個(gè)產(chǎn)品嗎？

這個(gè)新產(chǎn)品的使用效率會(huì)高于當(dāng)前的產(chǎn)品嗎？

如何比較這個(gè)產(chǎn)品的可用性與競爭對(duì)手產(chǎn)品的可用性？

這個(gè)產(chǎn)品中最為明顯的可用性問題是什么？

從前期的設(shè)計(jì)迭代中所吸取的經(jīng)驗(yàn)有沒有體現(xiàn)在后期的改進(jìn)上？

可用性度量和其他度量之間的一個(gè)區(qū)別：可用性度量測試的內(nèi)容與人及其行為或態(tài)度有關(guān)。

可用性度量的價(jià)值？

測量用戶體驗(yàn)所能提供的信息要遠(yuǎn)遠(yuǎn)多于簡單的觀察所能提供的信息。度量使設(shè)計(jì)和評(píng)價(jià)過程增添了結(jié)構(gòu)化的元素，能夠給予調(diào)查結(jié)果以更好的理解，同時(shí)給決策者也提供了重要的信息，而不是通過不正確的假設(shè)、直覺和預(yù)感做出重要的商業(yè)決策。

1. 可用性度量可以準(zhǔn)確地知道新產(chǎn)品是否真的優(yōu)于當(dāng)前產(chǎn)品。

2. 可用性度量是計(jì)算ROI的一個(gè)重要組成部分。

3. 可用性度量是不是要花太多的時(shí)間和錢？

理想情況下，可用性度量可以加速設(shè)計(jì)進(jìn)程，度量可以快速而容易地收集。一些簡單的可用性度量可以作為你每天測試的組成部分加以收集，在測試單元的開始和結(jié)束增加幾個(gè)額外的重要的問題，在任務(wù)結(jié)束后，可以要求參與者就易用性和滿意度進(jìn)行評(píng)級(jí)。簡單聯(lián)絡(luò)目標(biāo)用戶群發(fā)郵件即可，另外網(wǎng)上還有一些免費(fèi)的分析工具，資金和時(shí)間絕不是重要度量所必要的。

可用性數(shù)據(jù)的噪音會(huì)不會(huì)太多？

“噪音”經(jīng)典例子是，在一個(gè)自動(dòng)化的可用性研究中，當(dāng)測試參加者出去喝咖啡或者過周末時(shí)，還在繼續(xù)測量任務(wù)完成時(shí)間?？捎眯詳?shù)據(jù)可以被整理，這樣在分析中就不會(huì)用到極端的數(shù)值。如果給予一些周全的考慮和幾個(gè)簡單的方法，可用性數(shù)據(jù)中的眾多噪音可以被顯著地減少，直到顯示用戶行為和態(tài)度的清晰原貌。

新產(chǎn)品和老產(chǎn)品都適合度量嗎？

新產(chǎn)品度量可以構(gòu)建一系列基線度量，也有助于為新產(chǎn)品確定目標(biāo)性的度量，后續(xù)產(chǎn)品發(fā)布均需滿足基本的可用性度量。迭代產(chǎn)品可以比較數(shù)據(jù)，是了解新設(shè)計(jì)是否有提高的唯一途徑。

設(shè)計(jì)可用性研究：

選擇參加者：1、有代表性；2、不同類型的參加者類型進(jìn)行數(shù)據(jù)分類（領(lǐng)域?qū)I(yè)化程度-新手/熟練/專家，使用頻率，經(jīng)驗(yàn)程度，人口統(tǒng)計(jì)學(xué)變量-性別/年齡/地理位置，特定行為）；3、抽樣策略（隨機(jī)抽樣、系統(tǒng)抽樣、分層抽樣、方便抽樣）

樣本大小：早期階段需要較少（3-4個(gè)）的參與者來確定主要的可用性問題；隨著設(shè)計(jì)逐漸完成，即需要更多的參加者（4個(gè)以上）發(fā)現(xiàn)剩余的問題。

組內(nèi)研究/組間研究；自變量和因變量

數(shù)據(jù)類型（任務(wù)完成率、網(wǎng)絡(luò)流量、滿意度調(diào)查的評(píng)價(jià)、參與者實(shí)驗(yàn)過程中遇到的問題數(shù)）：

稱名數(shù)據(jù)：一些簡單無序的組/類別。（如計(jì)數(shù)、頻率）

順序數(shù)據(jù)：一些有序的組/類別。（如網(wǎng)站評(píng)級(jí)為 極好、好、一般、差，相鄰等級(jí)間的差距不一定相等）

等距數(shù)據(jù)：沒有零點(diǎn)的連續(xù)數(shù)據(jù)，且測量值之間的差異是有意義的。（如攝氏溫度和華氏溫度）

比率數(shù)據(jù)：與等距數(shù)據(jù)類似，而且具有絕對(duì)的零點(diǎn)。

描述統(tǒng)計(jì)：

集中趨勢（平均數(shù)、中數(shù)、眾數(shù)）的測量；變異性（全距、方差、標(biāo)準(zhǔn)差「變異性、離散程度」）的測量；置信區(qū)間（一個(gè)范圍，用來估計(jì)某統(tǒng)計(jì)值的總體實(shí)際值）。

圖形化呈現(xiàn)數(shù)據(jù)：條形（柱狀）圖、折線圖、散點(diǎn)圖、餅圖、堆積條形圖

規(guī)劃可用性研究：

· 研究目標(biāo)

研究目標(biāo)-形成式可用性（目標(biāo)是對(duì)設(shè)計(jì)進(jìn)行改進(jìn)，即發(fā)現(xiàn)/分析問題、提出修改建議，然后待完成修改后再次評(píng)估。在設(shè)計(jì)最終確定之前進(jìn)行）

????1. 有哪些最重大的可用性問題讓用戶無法完成他們的使用目標(biāo)或?qū)е滦实拖拢?/p>

? ? 2. 產(chǎn)品的哪些方面用戶用起來感覺良好？哪些方面讓他們覺得沮喪？

? ? 3. 用戶通常犯哪些最常見的失誤或錯(cuò)誤？

? ? 4. 產(chǎn)品在經(jīng)過一輪設(shè)計(jì)評(píng)估迭代后是否有所改進(jìn)？

????5. 你預(yù)期在產(chǎn)品上市后可能還存在什么樣的可用性問題？

研究目標(biāo)-總結(jié)式可用性（目標(biāo)是評(píng)估一個(gè)產(chǎn)品或者一項(xiàng)功能與其目標(biāo)結(jié)合得有多好。可用于對(duì)多款產(chǎn)品的比較研究）

? ? 1. 我們是否滿足了這個(gè)項(xiàng)目的可用性要求？

? ? 2. 我們的產(chǎn)品與競爭對(duì)手的產(chǎn)品相比如何？

? ? 3. 跟上一版已發(fā)布的產(chǎn)品相比，新版產(chǎn)品是否有改進(jìn)？

用戶目標(biāo)

????1. 績效：績效與用戶使用產(chǎn)品、與產(chǎn)品發(fā)生交互所做的所有工作有關(guān)。（完成每個(gè)任務(wù)的時(shí)間、完成每個(gè)任務(wù)所付出的努力-比如鼠標(biāo)的點(diǎn)擊數(shù)或認(rèn)知努力的程度、所犯錯(cuò)誤的次數(shù)及成為熟練用戶所需的時(shí)間-易學(xué)性）

????2. 滿意度：滿意度與用戶接觸和使用某產(chǎn)品時(shí)所說和所想的一切有關(guān)。（滿意度和績效并非總是緊密相關(guān)的）

選擇正確的度量：十種可用性研究

????1.完成一個(gè)業(yè)務(wù)（成功/失敗、再次使用可能性、用戶期望、效率）

? ? 2. 比較產(chǎn)品（比較競品/上一版產(chǎn)品的可用性的最佳方式之一是通過組合與比較式的可用性度量）

? ? 3. 評(píng)估同一產(chǎn)品的頻繁使用（度量任務(wù)時(shí)間、完成步驟數(shù)、頁面瀏覽量、易用性-知曉度/有用性）

? ? 4. 評(píng)估導(dǎo)航和（或）信息架構(gòu)（任務(wù)成功-類似尋寶/清障游戲、迷失度、卡片分類）

? ? 5. 增加產(chǎn)品知曉度（產(chǎn)品有的部分沒有被注意或使用，這可以有很多原因，包括視覺設(shè)計(jì)、標(biāo)記或位置等；視線跟蹤，網(wǎng)站數(shù)據(jù)/流量變化-A/B測試）

? ? 6. 問題發(fā)現(xiàn)（用于以前沒有經(jīng)過可用性評(píng)估的問題，通常是開放式的。對(duì)問題進(jìn)行分類總結(jié)，如高層級(jí)的導(dǎo)航、術(shù)語用語問題，并對(duì)問題給出嚴(yán)重性評(píng)分，制定設(shè)計(jì)改進(jìn)點(diǎn)列表）

? ? 7. 使重要/要害產(chǎn)品的可用性最大化（要害產(chǎn)品的存在是為了讓用戶去完成十分重要的任務(wù)，沒完成將導(dǎo)致嚴(yán)重的負(fù)面后果）

? ? 8. 創(chuàng)造整體正面的用戶體驗(yàn)（最佳的用戶體驗(yàn)是那些超越用戶期望的產(chǎn)品。滿意度是常見的自我報(bào)告式度量）

? ? 9. 評(píng)估微小改動(dòng)的影響（a/b測試是用一個(gè)控制設(shè)計(jì)方案去比較另一個(gè)替代方案，大樣本的在線可用性研究也很重要）

? ? 10. 比較替代性的設(shè)計(jì)（發(fā)生在設(shè)計(jì)過程的早期。可以組間比較、迫選比較、對(duì)不同原型進(jìn)行評(píng)分）

其他細(xì)節(jié)：

預(yù)算和時(shí)間表（準(zhǔn)備數(shù)據(jù)——可用性測試的時(shí)間和成本——自己整理和分析數(shù)據(jù)的額外時(shí)間和成本）

評(píng)估方法（實(shí)驗(yàn)室測試：一對(duì)一問答形式，4-10個(gè)參加者；在線測試/研究；焦點(diǎn)小組，8-10個(gè)參加者，3組及以上）

參加者（招募標(biāo)準(zhǔn)、數(shù)量、招募策略）

數(shù)據(jù)收集（excel等）

數(shù)據(jù)整理（篩選數(shù)據(jù)-過濾極端/有問題的數(shù)據(jù)、創(chuàng)建新變量、檢驗(yàn)應(yīng)答、檢查一致性）

焦點(diǎn)小組和可用性測試的區(qū)別？

這兩種方法的前后相似之處在于，他們都邀請(qǐng)具有代表性的用戶參與進(jìn)來。在焦點(diǎn)小組中，參加者通常只是看某個(gè)人演示或描述一個(gè)可能的產(chǎn)品，然后對(duì)此做出反應(yīng)。而在可用性測試中，參加者要自己實(shí)際去嘗試某一個(gè)版本的產(chǎn)品。我們看到過很多例子，一個(gè)產(chǎn)品原型在焦點(diǎn)小組中獲得了熱情洋溢的評(píng)論，卻在可用性瀏試中反響拙劣。

績效度量：

任務(wù)成功

二分式成功-成功/失敗-成功數(shù)據(jù)的置信區(qū)間，「有清晰的結(jié)束狀態(tài)」

成功等級(jí)-完成任務(wù)/部分完成任務(wù)/失敗-需要幫助/不需要幫助/誤解/放棄、沒問題/小問題/大問題/失敗放棄，「有清晰的等級(jí)定義」

任務(wù)時(shí)間（通常-任務(wù)時(shí)間越短體驗(yàn)越好，游戲/培訓(xùn)課-相反。

「時(shí)間、中數(shù)、平均數(shù)、95%置信區(qū)間、全距、閾值、分布和異常值」

時(shí)間數(shù)據(jù)需要考慮：只針對(duì)成功任務(wù)還是所有任務(wù)、出聲思維、是否告知參與者需要進(jìn)行時(shí)間測量？

錯(cuò)誤

何時(shí)測量錯(cuò)誤？「錯(cuò)誤導(dǎo)致效率降低-數(shù)據(jù)丟失/重新輸入/任務(wù)緩慢；錯(cuò)誤導(dǎo)致成本增加-客服電話量上升/產(chǎn)品退回；錯(cuò)誤導(dǎo)致任務(wù)失敗-病人服錯(cuò)藥、投票選了錯(cuò)誤的人、買了錯(cuò)誤的產(chǎn)品」

什么構(gòu)成了錯(cuò)誤？「多種不同類型、用戶操作動(dòng)作（視覺、交互）」

收集和測量錯(cuò)誤「收集任務(wù)中的錯(cuò)誤機(jī)會(huì)/錯(cuò)誤數(shù)量」

分析和呈現(xiàn)錯(cuò)誤「1個(gè)錯(cuò)誤機(jī)會(huì)的任務(wù)：考察每個(gè)任務(wù)的錯(cuò)誤頻率；多個(gè)錯(cuò)誤機(jī)會(huì)的任務(wù)：考察每個(gè)任務(wù)的錯(cuò)誤頻率，每個(gè)任務(wù)每個(gè)參加者所犯的平均錯(cuò)誤數(shù)，哪些任務(wù)落在閾值之上或之下，錯(cuò)誤程度不同」

考慮問題「不重復(fù)計(jì)算錯(cuò)誤；多每種類型的錯(cuò)誤進(jìn)行考察；錯(cuò)誤和任務(wù)成功與否的度量存在交集，選擇適合受眾的度量」

效率（用戶完成任務(wù)所付出的努力程度）

認(rèn)知努力（找到正確的位置執(zhí)行操作動(dòng)作-確定操作動(dòng)作的必要性-解釋該操作動(dòng)作的結(jié)果）和身體努力（執(zhí)行操作需要的身體動(dòng)作）

收集和測量效率：確定有待測量的操作動(dòng)作；定義操作動(dòng)作的開始和結(jié)束；計(jì)算操作動(dòng)作的數(shù)目；確定的動(dòng)作必須有意義-動(dòng)作能表示認(rèn)知/體力需求的增加；只考察成功的任務(wù)。

分析和呈現(xiàn)效率數(shù)據(jù)：迷失度(操作任務(wù)時(shí)所訪問的不同頁面數(shù)、總頁面數(shù)、完成任務(wù)必須訪問的最小頁面數(shù))；「考察參加者完成某任務(wù)時(shí)的操作動(dòng)作數(shù)量」

結(jié)合任務(wù)成功和任務(wù)時(shí)間的效率：效率百分?jǐn)?shù)=完成率/任務(wù)時(shí)間，即每分鐘完成任務(wù)數(shù)，可評(píng)估任務(wù)難度

易學(xué)性（是一種測量績效隨時(shí)間而如何發(fā)生變化的方法）

因?yàn)楫a(chǎn)品使用不是一次性事件，是具有一定數(shù)量的發(fā)生頻率，所以易學(xué)性十分重要。

幾乎可以使用任何持續(xù)性的績效度量予以測得，最常見的是聚焦在效率上的度量（任務(wù)時(shí)間、錯(cuò)誤、操作步驟數(shù)量、每分鐘任務(wù)成功）

基于問題的度量：

什么是可用性問題？

任何影響了任務(wù)完成的情形。

任何導(dǎo)致用戶”偏離航線’（off - course ）的情形。

任何讓用戶產(chǎn)生某種疑惑的情形。

任何導(dǎo)致錯(cuò)誤的情形。

沒有看到應(yīng)當(dāng)注意的內(nèi)容。

認(rèn)為本來錯(cuò)誤的內(nèi)容是正確的。

任務(wù)未結(jié)束時(shí)誤以為已經(jīng)完成了。

錯(cuò)誤的操作行為。

對(duì)內(nèi)容的誤解。

不理解導(dǎo)航（結(jié)構(gòu)）。

如何發(fā)現(xiàn)可用性問題？

常見的方法是在研究中直接與參加者接觸/交互（如面對(duì)面實(shí)驗(yàn)室研究、電話/視頻遠(yuǎn)程測試）以發(fā)現(xiàn)可能存在的問題。還可以利用諸如在線學(xué)習(xí)之類的自動(dòng)化技術(shù)來發(fā)現(xiàn)可用性問題。

面對(duì)面研究：出聲思維法，集中于如何與產(chǎn)品進(jìn)行交互的意識(shí)流。（用戶正在做什么、想做什么、對(duì)自己的決定有多大把握、預(yù)期是什么、操作行為背后的原因，用戶言語中的失望/疑惑/高興/信心/猶豫、用戶沒說出他們應(yīng)當(dāng)說出的事情、非語言行為如表情或眼動(dòng)）

自動(dòng)式研究：注意收集數(shù)據(jù)、收集評(píng)論，基于單個(gè)任務(wù)的反饋可能好于整體反饋。

嚴(yán)重性等級(jí)評(píng)估：低中高（對(duì)用戶體驗(yàn)影響大小+多少用戶遇到問題），54321級(jí)

分析和報(bào)告可用性問題相關(guān)的度量：

1、該產(chǎn)品的總體可用性如何？2、產(chǎn)品的可用性是否隨著每一次設(shè)計(jì)迭代而提高？3、應(yīng)當(dāng)著力于哪些方面以改進(jìn)設(shè)計(jì)？

獨(dú)特問題的頻次（理想：隨著設(shè)計(jì)迭代，問題數(shù)量減少）；每個(gè)參與者遇到的問題頻次（獨(dú)特問題頻次減少了嘛？少數(shù)用戶的問題解決了嘛？大家共同遇到的問題解決了嘛？）；參加者頻次（說明遇到各個(gè)問題的參加者數(shù)量）

對(duì)問題進(jìn)行歸類（導(dǎo)航、術(shù)語、內(nèi)容、功能）

報(bào)告正面的問題（可以提升報(bào)告的可信度）

發(fā)現(xiàn)可用性問題時(shí)的一致性，發(fā)現(xiàn)可用性問題時(shí)的偏差（參加者-5個(gè)足矣/5個(gè)遠(yuǎn)遠(yuǎn)不夠、任務(wù)、方法、產(chǎn)品、環(huán)境、測試引導(dǎo)員）?！冈诳捎眯詼y試中擴(kuò)大任務(wù)覆蓋面的一種行之有效的方式是定義一套所有參加者都必須完成的核心任務(wù)以及另一套只適合某個(gè)參加者-基于特征 的任務(wù)」

自我報(bào)告式的度量

了解產(chǎn)品可用性的最顯而易見的方法就是詢問用戶，讓用戶告訴你他們使用產(chǎn)品時(shí)的體驗(yàn)，包括用戶感知系統(tǒng)與系統(tǒng)交互。

你的問題可以有多種形式，包括：各種各樣的評(píng)定量表、參加者可以從中選擇的選項(xiàng)列表以及開放式的問題（如“請(qǐng)列出你對(duì)本設(shè)備最滿意的三個(gè)方面” ) ；你可能問到的一些可用性屬性包括：總體滿意度、易用性、導(dǎo)航的有效性、對(duì)某些特征的知曉度、術(shù)語的易懂性，視覺上的吸引力以及其他許多方面。但是所有這些的共同特征是你詢問參加者者以獲得信息。

描述這類數(shù)據(jù)分為主觀數(shù)據(jù)和偏好數(shù)據(jù)。主觀數(shù)據(jù)和客觀數(shù)據(jù)相對(duì)應(yīng)，客觀數(shù)據(jù)經(jīng)常用于描述可用性研究中的績效數(shù)據(jù)。

收集數(shù)據(jù)：likert量表（強(qiáng)烈反對(duì)、反對(duì)、既不同意也不反對(duì)、同意、非常同意；5點(diǎn)/7點(diǎn)量表：語義差異-弱ooooooo強(qiáng)、美ooooooo丑）（在線調(diào)查工具）；正性陳述和負(fù)性陳述；

任務(wù)后評(píng)分：易用性、情景后問卷(容易程度、所用時(shí)間、輔助性信息)、期望測量(期望容易實(shí)際很困難-盡快修改、期望容易實(shí)際也容易-維持不變、期望困難實(shí)際容易-廣而告之、期望困難實(shí)際也很困難-重要機(jī)會(huì))；「單個(gè)任務(wù)的評(píng)分；系統(tǒng)可用性量表」「SUS分?jǐn)?shù)」

計(jì)算機(jī)系統(tǒng)可用性問卷：系統(tǒng)有效性、信息質(zhì)量、界面質(zhì)量、總體滿意度。用戶界面滿意度：總體反應(yīng)、屏幕、術(shù)語、學(xué)習(xí)、系統(tǒng)能力。定性研究-生成反應(yīng)卡。

用sus比較各種設(shè)計(jì)：“老年人友好”網(wǎng)站、windows ME/XP、紙質(zhì)選票

評(píng)估具體屬性：視覺吸引力、感知效率、有用、愉悅、可信程度、術(shù)語的適當(dāng)程度、導(dǎo)航、響應(yīng)程度；除了評(píng)估一個(gè)產(chǎn)品或網(wǎng)站的具體屬性外，你也可以評(píng)估他們的具體元素，如使用說明、FAQ、在線幫助、首頁、搜索功能、站點(diǎn)地圖。

行為和生理度量

言語行為（正面評(píng)論、中性評(píng)論、負(fù)面評(píng)論）和非言語行為（面部表情-面部肌電圖傳感器/視頻錄像、肢體動(dòng)作、視線跟蹤-熱點(diǎn)地圖、瞳孔反應(yīng)、皮膚電反應(yīng)和心率）

合并和比較度量

單一可用性分?jǐn)?shù)：在可用性測試之后，會(huì)被問到“產(chǎn)品表現(xiàn)如何？”，這個(gè)問題通常想了解的不是任務(wù)完成率、任務(wù)時(shí)間或者問卷分?jǐn)?shù)，而是某種類型的綜合分?jǐn)?shù)：產(chǎn)品表現(xiàn)得好不好？與前一輪可用性測試相比，它表現(xiàn)得如何》這就需要將可用性測試中得多個(gè)度量合并為某種類型的一個(gè)綜合可用性分?jǐn)?shù)。

根據(jù)預(yù)定目標(biāo)合并度量（如以平均不超過70s的時(shí)間完成至少80%任務(wù)的綜合指標(biāo)，是且的關(guān)系，即不能超過70s也要完成80%的任務(wù)）；

根據(jù)百分比合并度量（如將任務(wù)數(shù)、錯(cuò)誤數(shù)、滿意度評(píng)分均換算成百分制）；

根據(jù)z分?jǐn)?shù)合并數(shù)據(jù)（比較不同子集/子類，如不同迭代/不同組別/不同條件的數(shù)據(jù)）

使用SUM：單一可用性度量（任務(wù)完成、任務(wù)時(shí)間、錯(cuò)誤、任務(wù)滿意度 合并）

可用性計(jì)分卡：雷達(dá)圖（任務(wù)完成、頁面訪問、準(zhǔn)確性、滿意程度、有用性評(píng)分）、Harvey球

與目標(biāo)專家績效比較：與目標(biāo)比較（如至少90%的典型用戶能夠成功下單、用戶能夠在平均時(shí)間小于三分鐘內(nèi)完成每個(gè)任務(wù)）；與專家比較（有的任務(wù)本身就比較困難/耗時(shí)長，目標(biāo)是比較參加者與專家績效的實(shí)際接近程度）

專題

在線網(wǎng)站數(shù)據(jù)：

服務(wù)器端的日志（更多的訪問量）；點(diǎn)擊率（通常測試網(wǎng)站廣告的效果，點(diǎn)擊次數(shù)/投放次數(shù)，卡方檢驗(yàn)）；棄用率（統(tǒng)計(jì)每個(gè)頁面的到達(dá)率、棄用率）；A/B研究（A/B測試，一部分訪問者會(huì)看到A版本，另一部分訪問者會(huì)看到B版本：流量百分比-不同版本的投放量、新的銷售量-購買的訪客量）

卡片分類數(shù)據(jù)：

開放式卡片分類數(shù)據(jù)（15個(gè)人左右，研究者自由歸類，類別相同則距離為0，類別不同則距離為1，所有用戶數(shù)據(jù)相加，值最小為最相似）「層級(jí)聚類分析-可以看出卡片大致被分為幾組；多維標(biāo)度法/MDS-擬合度、項(xiàng)目之間的相對(duì)距離」。封閉式卡片分類數(shù)據(jù)（給用戶提供卡片和分組組名，統(tǒng)計(jì)用戶將卡片放在某組的用戶數(shù)和最大比例；或統(tǒng)計(jì)用戶將卡片放在不同組的用戶數(shù)、最大值、第二位置和第一第二差值。適合比較不同信息架構(gòu)哪個(gè)更適合用戶使用）

可達(dá)性數(shù)據(jù)：只針對(duì)某類特殊用戶的可用性，如盲人用戶、視弱用戶、控制組。WCAG（w3c的web內(nèi)容可達(dá)性指南）

投資回報(bào)率數(shù)據(jù)：產(chǎn)品用戶是你的雇員（可節(jié)省的任務(wù)完成時(shí)間直接換算成美金）/產(chǎn)品用戶是你的客戶（收益更為間接）

六西格瑪(six sigma)，六個(gè)標(biāo)準(zhǔn)差，指在平均數(shù)上下的三個(gè)標(biāo)注差范圍內(nèi)，你能解釋99.7%的事例（正態(tài)分布-SUS得分）

案例研究

如何又快又省地對(duì)網(wǎng)站進(jìn)行再設(shè)計(jì)：

1、競品的可用性測試「a、任務(wù)舉例-確定設(shè)計(jì)中哪些元素有益哪些元素?zé)o益，b、問卷-測量網(wǎng)站的吸引力，c、結(jié)果-綜合得出網(wǎng)站吸引力的份」；

2、對(duì)三種不同的設(shè)計(jì)概念進(jìn)行測試「a、對(duì)三種原型中的兩種進(jìn)行評(píng)估-第一印象和整體喜好程度，b、問卷-滿意度測評(píng)，c、結(jié)果-滿意度，d、結(jié)果-吸引力和可信度，e、負(fù)面反應(yīng)，f、不關(guān)注統(tǒng)計(jì)意義上的顯著性，關(guān)心發(fā)展的趨勢和設(shè)計(jì)中的突破」

3、對(duì)單獨(dú)的設(shè)計(jì)方案進(jìn)行測試「a、結(jié)果-任務(wù)成功率、滿意度，b、總結(jié)-設(shè)計(jì)檢視」

語音識(shí)別的IVR系統(tǒng)的可用性評(píng)估

方法：參加者完成4個(gè)任務(wù)，每個(gè)任務(wù)完成后填寫“情景后問卷ASQ（3個(gè)問題，1-7打分，分?jǐn)?shù)越低滿意度和易用性越好，整體得分為平均值）”，完成所有任務(wù)后填寫“測試后系統(tǒng)可用性問卷PSSUQ（16個(gè)題項(xiàng)，7點(diǎn)標(biāo)度描述用戶對(duì)一個(gè)論述的同意程度，得分越低表示主觀可用性越好，系統(tǒng)有效性/信息質(zhì)量/界面質(zhì)量）”

結(jié)果：基于任務(wù)的測量（完成時(shí)間、成功率、滿意度、90%置信區(qū)間）；用戶評(píng)論（對(duì)三個(gè)最喜歡和最不喜歡的特點(diǎn)進(jìn)行評(píng)論）；可用性問題（讓用戶無法完成任務(wù)、補(bǔ)救時(shí)間超過1分鐘、補(bǔ)救時(shí)間小于1分鐘、輕微的低效率，影響等級(jí)越大權(quán)重越高）；基于用戶行為和評(píng)價(jià)的建議；討論。

CDC.gov網(wǎng)站的再設(shè)計(jì)

項(xiàng)目主要的可用性工作包括以下內(nèi)容：檢視 CDC 過去有關(guān)可用性研究的結(jié)果，訪談?dòng)脩?、利益相關(guān)者、合作伙伴及網(wǎng)站制作人員，詳細(xì)分析網(wǎng)站、搜索和訪問日志，分析從”美國消費(fèi)者滿意指數(shù)”得到的用戶調(diào)查數(shù)據(jù)，調(diào)查 CDC 管理層、雇員和網(wǎng)站制作人員的意見和態(tài)度，進(jìn)行卡片分類，開展并行設(shè)計(jì)，制作一系列線框圖，制作圖形化導(dǎo)向的原型。

這個(gè)案例研究中的可用性測試包括基線測試、首次點(diǎn)擊測試、和后期原型測試。用了 100 多個(gè)任務(wù)場景，170名參加者進(jìn)行了測試。這些可用性測試最終表明成功率提高了 26 ％、滿意度得分提升了 70 ％。

可用性測試的五個(gè)級(jí)別：

傳統(tǒng)的檢查型評(píng)估，比如啟發(fā)式評(píng)估和專家檢視等

利用場景進(jìn)行規(guī)則式檢視

適度控制的可用性測試，需要相對(duì)少量的測試參與者（大約8名）

嚴(yán)格控制的可用性側(cè)試，只需要適量的測試參加者以對(duì)整個(gè)用戶群進(jìn)行較弱的推斷

嚴(yán)格控制的可用性測試，需要足夠數(shù)量的測試參加者以對(duì)整個(gè)用戶群進(jìn)行充分的推斷

其他：

基線測試，任務(wù)場景，定性分析的發(fā)現(xiàn)。數(shù)據(jù)處理及可視化，討論。

用戶（性別、年齡、種族、家庭收入、教育水平、使用不同數(shù)據(jù)業(yè)務(wù)，并有側(cè)重-XXX特征的XX年紀(jì)的人）

推進(jìn)

推銷可用性和度量的作用

邀請(qǐng)決策者到實(shí)驗(yàn)室觀察盡可能多的可用性測試單元；短小的視頻片段；

從小事做起，努力慢慢做起來，不要試圖全面開花

確保有時(shí)間和經(jīng)費(fèi)

早計(jì)劃，常計(jì)劃

給你的產(chǎn)品確定基線

挖掘你的數(shù)據(jù)

說商業(yè)性的語言

呈現(xiàn)你的置信程度

不要誤用度量

簡化你的報(bào)告（取決于目標(biāo)受眾，報(bào)告總結(jié)性度量）