概述
績(jī)效度量的驗(yàn)證使用場(chǎng)景分為：進(jìn)行式、總結(jié)式
只有總結(jié)式度量才有可能采用數(shù)據(jù)埋點(diǎn)，因此以下討論均基于總結(jié)式度量
進(jìn)行式：因產(chǎn)品出于設(shè)計(jì)過(guò)程中，沒有上線，所以無(wú)法使用數(shù)據(jù)埋點(diǎn)，得到數(shù)據(jù)驗(yàn)證結(jié)果
總結(jié)式：產(chǎn)品已上線，理論可通過(guò)數(shù)據(jù)埋點(diǎn)，獲取驗(yàn)證結(jié)果
績(jī)效-任務(wù)成功
定義：測(cè)量用戶能在多大程度上有效的完成一系列的任務(wù)
度量?jī)?nèi)容
二分式成功：通過(guò)賦值“成功”=1、“失敗”=0，和置信區(qū)間，來(lái)計(jì)算出任務(wù)的成功平均值或其他數(shù)據(jù)
成功等級(jí)：通過(guò)賦值于不同程度的成功（典型做法分成3-6個(gè)等級(jí)，常用做法分3個(gè)等級(jí)，成功、部分成功、失敗），得出平均成功分
分析
「二分式成功」
由上面的內(nèi)容可知，
1、二分式成功只需要知道成功、失敗的節(jié)點(diǎn)就好。
2、二分式成功的度量需要明確任務(wù)的完成、失敗節(jié)點(diǎn)，且可追蹤測(cè)量。
因此只需要明確二分式成功的完成、失敗的操作節(jié)點(diǎn)，就可使用數(shù)據(jù)分析，因數(shù)據(jù)埋點(diǎn)的測(cè)試用戶量為全量，因此不需要考慮置信區(qū)間的問(wèn)題，得出的結(jié)果無(wú)需考慮誤差。
「成功等級(jí)」
由上部分內(nèi)容可知，
1、需要明確成功、失敗的節(jié)點(diǎn)，對(duì)于成功、失敗的定義和二分式?jīng)]有區(qū)別。
2、定義中間狀態(tài)，較為復(fù)雜，由多種定義方法，中間狀態(tài)的定義難以匹配到唯一的操作，也就不易用數(shù)據(jù)埋點(diǎn)追蹤。
因此對(duì)于成功等級(jí)的度量，簡(jiǎn)單一些的成功等級(jí)，各級(jí)別可匹配到唯一的操作狀態(tài)時(shí)，可使用數(shù)據(jù)度量，但對(duì)于一些負(fù)責(zé)的成功等級(jí)度量使用數(shù)據(jù)埋點(diǎn)進(jìn)行追蹤的難度較大
結(jié)論
1、二分式成功可通過(guò)數(shù)據(jù)分析獲得準(zhǔn)確度量數(shù)據(jù)。
2、成功等級(jí)中對(duì)于中間狀態(tài)定義清晰且能匹配唯一操作時(shí)，可使用數(shù)據(jù)埋點(diǎn)進(jìn)行獲取度量結(jié)果。其他情況難度較大或難以進(jìn)行數(shù)據(jù)埋點(diǎn)度量。
績(jī)效-任務(wù)時(shí)間
定義：測(cè)量用戶需要多少時(shí)間能完成任務(wù)
度量?jī)?nèi)容
定義清晰開始狀態(tài)和結(jié)束狀態(tài)，通過(guò)計(jì)時(shí)器計(jì)算兩個(gè)狀態(tài)間的耗時(shí)
分析
測(cè)量任務(wù)時(shí)間比較簡(jiǎn)單，只需要定義清楚開始的動(dòng)作、結(jié)束的動(dòng)作，并且可以追蹤就可以采用數(shù)據(jù)埋點(diǎn)來(lái)獲取度量結(jié)果。但限于技術(shù)問(wèn)題，數(shù)據(jù)埋點(diǎn)追蹤 僅可在統(tǒng)一平臺(tái)進(jìn)行追蹤，例如一個(gè)任務(wù)是通過(guò)應(yīng)用原生代碼+H5內(nèi)嵌結(jié)合的項(xiàng)目，較難獲取兩個(gè)狀態(tài)間的耗時(shí)。
結(jié)論
1、測(cè)試任務(wù)全部原生代碼/全部h5代碼可通過(guò)數(shù)據(jù)埋點(diǎn)獲取度量結(jié)果
2、測(cè)試任務(wù)為原生代碼+h5混合，不可通過(guò)數(shù)據(jù)埋點(diǎn)獲取度量結(jié)果?
績(jī)效-錯(cuò)誤
定義：任務(wù)過(guò)程中的一些過(guò)失，或者不正確的操作。
度量?jī)?nèi)容
清晰定義正確和不正確，測(cè)量用戶犯錯(cuò)的數(shù)量。??
分析
因任務(wù)出錯(cuò)的形式各種各樣，例如：沒有操作、反復(fù)操作等，清晰定義正確和不正確后，仍會(huì)存在無(wú)法定量跟蹤情況，因一個(gè)錯(cuò)誤不一定是由為一個(gè)操作構(gòu)成，因此采用數(shù)據(jù)埋點(diǎn)來(lái)獲取結(jié)果難度較大，甚至無(wú)法獲取準(zhǔn)確的結(jié)果。
結(jié)論
錯(cuò)誤的度量難以通過(guò)數(shù)據(jù)埋點(diǎn)獲取度量結(jié)果
績(jī)效-效率
定義
測(cè)量用戶完成任務(wù)過(guò)程中所付出的努力
度量?jī)?nèi)容
操作數(shù)量：定義清楚任務(wù)中需要測(cè)量的操作動(dòng)作，較復(fù)雜的動(dòng)作要定義清楚開始和結(jié)束節(jié)點(diǎn)。計(jì)算操作數(shù)量并計(jì)算任務(wù)中操作數(shù)量的均值。
迷失度：通過(guò)記錄操作任務(wù)中訪問(wèn)不同的頁(yè)面的數(shù)量、總的頁(yè)面數(shù)量、完成任務(wù)時(shí)必須訪問(wèn)的最小頁(yè)面數(shù)，并通過(guò)計(jì)算公式得出一個(gè)迷失度的值。
結(jié)合任務(wù)成功和任務(wù)時(shí)間的效率：計(jì)算單位時(shí)間內(nèi)的任務(wù)成功。
分析
「操作數(shù)量」
只要能清晰定義清楚需要監(jiān)測(cè)的操作動(dòng)作，但其中定義操作動(dòng)作較為復(fù)雜，例如：發(fā)送消息等由多個(gè)子操作組成，但若是該操作的開始結(jié)束狀態(tài)可監(jiān)測(cè)，同樣可以獲取度量結(jié)果；還有一些難以監(jiān)測(cè)的操作，例如：查看頁(yè)面的等，無(wú)法使用數(shù)據(jù)埋點(diǎn)進(jìn)行獲取度量結(jié)果（頁(yè)面的可見pv不準(zhǔn)確，無(wú)法準(zhǔn)確知曉頁(yè)面的查看次數(shù)）
「迷失度」
主要測(cè)量的時(shí)用戶訪問(wèn)頁(yè)面的數(shù)量，通過(guò)頁(yè)面的可見pv和uv可以計(jì)算，至于最小路徑在設(shè)計(jì)應(yīng)就可由方案。因此迷失度的度量方法是可以通過(guò)數(shù)據(jù)度量來(lái)獲取結(jié)果
「結(jié)合任務(wù)成功和任務(wù)時(shí)間的效率」
該方式的效率度量要參考任務(wù)成功和任務(wù)時(shí)間兩個(gè)方式的度量方法是否能通過(guò)數(shù)據(jù)埋點(diǎn)獲取結(jié)果
結(jié)論
1、操作數(shù)量：復(fù)雜程度較高，難以使用數(shù)據(jù)埋點(diǎn)進(jìn)行獲取度量結(jié)果，且若可以，其獲取成本想多也會(huì)較高，需平衡不同方案的成本。
2、迷失度：可以通過(guò)數(shù)據(jù)埋點(diǎn)來(lái)獲取度量結(jié)果
3、結(jié)合任務(wù)成功和任務(wù)時(shí)間的效率：依賴于任務(wù)成功和任務(wù)時(shí)間的測(cè)量情況
績(jī)效-易學(xué)性
定義：測(cè)量績(jī)效隨時(shí)間提高或未提高的方法。
度量?jī)?nèi)容
易學(xué)性的度量測(cè)量主體是效率在時(shí)間維度上的表現(xiàn)。
分析
易學(xué)性的測(cè)量方式依賴于任務(wù)時(shí)間、錯(cuò)誤、效率的度量方法，因此能否用埋點(diǎn)獲取度量結(jié)果可需視其他度量方式的情況而定。
結(jié)論
依賴于任務(wù)時(shí)間、錯(cuò)誤、效率的測(cè)量情況。
