23.7.1貫穿游戲的基線

作為長期策略，在體驗實驗室，我們管理一個正在運行的游戲數(shù)據(jù)庫，每次游戲的不同問卷收到的得分。這樣的事情許多用戶研究組織都會做。我們這樣做有以下幾個原因：

1.可以讓我們留有我們每次調(diào)查使用的問題記錄

2.通過這些問題，我們能夠清楚知道哪一個選項和最終總體得分有相關(guān)性，以及某種意義上可以被描述為“準確”預測。我們正不斷驗嘗試驗證我們使用方式的有效性。

3.我們可以清楚問卷中的哪些問題能夠在不同的類型游戲中有準確的得分，包括那些相關(guān)性準確度最高的題目。這有助于確保問卷只包含那些相關(guān)性最阿公且最有用的問題，這也是上面提到的問卷越短越好的理由。

關(guān)于上述的第二第三個理由有一個基本的假設(shè)：效度只能在

即時屬于同一類，也并非所有游戲都是一樣的。舉個例子，SingStar準確的說，不能等同于Lips。這兩款游戲有相同的地方：他們都是party游戲，他們都需要唱歌等等，但是準確的說他們并非等同的。

這兩款游戲中有大量的差異點，這種差異感特別貫穿在更廣泛的游戲體驗之中。所以匹配問卷題目到類似類型的游戲的過程仍是很難掌握的經(jīng)驗，但是這有助于確定表現(xiàn)的關(guān)鍵指標。

我們很少在不同類的游戲中對問題做標記管理，因為這需要對比不同游戲的質(zhì)性方面的相似度，比如拿蘋果和橘子對比。但是，如果不同類型的特定游戲有相似的機制則另當別論，需要納入考慮了。

23.7.2 不同的玩法的立標竿

我們常常被問開發(fā)中只和標題工作，圍繞alpha，然后追蹤進程隨著它的發(fā)展。隨著游戲開發(fā)，出現(xiàn)的功能是精確的，額外的功能被增加，開發(fā)者可以得到一個游戲如何推進的概覽，以及它玩起來是否正越來越有意思。

在案例表（看23.2表），我們展示了每個等級的得分情況在一個任天堂數(shù)據(jù)上，當這個游戲在不同的數(shù)據(jù)上進行測試。這允許我們可以看見隨著新的功能的加入，不同等級改變后，總體滿意度得分是如何的。以及ai被調(diào)整。我們不能泄露標題是啥，因為不披露原則我們和客戶簽訂了。

這個表顯示了并非所有等級北側(cè)是在每個測試階段。我們每輪測試3-4個等級。但是，通過獲得你的標桿方法論每一輪使用同樣的方法，你可以在每次測試的時候進行每個等級的uibi，找到關(guān)注點的關(guān)鍵地方。從這個客戶可以知道如何優(yōu)先它們的資源。

研究發(fā)現(xiàn)這些得分組成，但是他們也需要更多的信息來幫助我們理解在玩家選項背后的理由。他們自己的問卷可以顯示好很多東西。但是，通過從數(shù)據(jù)得到數(shù)據(jù)進行三角驗證，豐富的反饋從過去玩家訪談中，以及在玩法中的觀察，你可以知道為什么玩家給這個游戲打這個分數(shù)。然后你討論這個問題，是為什么導致了低分，哪些問題可以被解決。

經(jīng)常在測試中有些時候，不單獨使用問卷的重要性變得明顯。玩家行為觀察和他們體驗的表現(xiàn)，舉個例子，可能作為案例導致更多玩法的增加，游戲變得越來越引人入勝：可能有一個更廣的范圍，或者玩法功能。者能夠轉(zhuǎn)卻的哪些功能玩早期玩家需要，意味著游戲的得分減少。但是，同時，這些新的功能可能表現(xiàn)得很難對于玩家來說。這將有一個不可抵抗得消極影響在問卷得分上，推翻任何好處游戲可能從他們得東西里面得到。

這顯示等級6以下在23.3，

image.png

第二輪測試，客戶增加新的哦那個能，包括避免的障礙，增加了游戲的深度。此外，他們調(diào)整AI和意外讓它更難打敗CPU。如果我們不管這這個階段看這些，看玩家身體語言和表達當他們玩的過程，根據(jù)這些非常規(guī)訪談發(fā)過誓每次之后，問卷得分可能讓我們以為問題只是新的障礙，輕視AI問題。

但是即時一個玩法問卷得分下降，正如上述描述的，這個得分仍然是有價值的，因為標題接近它的重點，新的玩法正在被精煉以及游戲平衡性將越來越高，我們可以提供更廣的標題正改善的畫像。緊要的，如果一個新的功能在一天中晚些增加，游戲評分炸了，不能有足夠的時間精煉功能在提交前，評分可以給開發(fā)者一個好的預示是否保留，或者去掉（伴隨他們自己的判斷和其他數(shù)據(jù)）。

一個關(guān)鍵要素和這個相關(guān)的是用戶交互和菜單包裝，這些東西可能鏈接各種小歐系在大的游戲標題下。UI是一個更多功能的元素在游戲立，測試小游戲是不同的，但是可以在最后的打包中有個整體的影響。早期玩法，UI并不出現(xiàn)，我們可能僅僅工作對象就是小游戲。但是當Ui實施的時候，它制造了一個打磨過的專業(yè)的游戲包，這會影響玩家的喜好。通過檢查卡法這關(guān)于是否，何時以及如何，Ui放入進去的在研究會議之前，我們可以確保我們有一系列的問題處理總體滿意度而不僅僅是UI，但是完整的游戲產(chǎn)品，而不是聚焦于小游戲。

image.png

23.7.3 不同等級的標記管理
標桿得分對于游戲中根據(jù)不同標準排序等級是一個好的工具，比如趣味性或困難度得分。舉個例子，我們致力于多等級平臺在手握設(shè)備給一個主要發(fā)i星尚，每個等級的接下來的執(zhí)行完成一個斷得問卷，從多個方面測量對這個問題的態(tài)度。特別的，難度得分，玩家玩此難度等級下的樂趣如何，有個關(guān)鍵的指標來和其他對比。然后將這些點畫在一張表上，幫助我們理解等級是否如預期的提高難度。這由于游戲有合適的挑戰(zhàn)性曲線如表現(xiàn)得，仍然有樂趣。這個圖如23.4展示了每個等級得難度評分。游戲有世界組成，沒有顏色是一個世界。每個世界中，有等級，每個等級是圖表得線，預示所有玩家難度得平均得分。如你所見，在第一個世界中，等級1，2，3評分是比較容易得，但是等級4要困難很多。通過這個數(shù)據(jù)，連同看玩家玩游戲在這個等級得表現(xiàn)，我們就能清楚等級里得某個領(lǐng)域玩家被卡住了。開發(fā)者也能知道這點，等級被提煉讓等級少些挑戰(zhàn)性但是仍然有趣。更細維度的難度評分顯示問題已經(jīng)被處理。我們也通過評分知道每個郵寄是否有趣。等級后我們決定降低挑戰(zhàn)性，提高預約度。

23.7.4不同地區(qū)的標記管理
做標桿的另一個有用的愿意是理解一個游戲在不同地區(qū)的相對的滿意度。這可能有很大的洲際不同，內(nèi)陸國家差異，甚至國家內(nèi)部的不同，一個游戲可能對不同的國家或地區(qū)有不同的吸引力。
相容性是關(guān)鍵的，總體在打標桿的時候，但是何時在大的地區(qū)測試是重要的。有許多不同的方法獲得一致性。我們發(fā)現(xiàn)最好的流程是開展第一個系列性的研究在你自己的國家，或者和你自己盡可能相似的（同語言國家。這讓你能夠確保挑選你感興趣的方面在測試部分的時候，也讓你能夠確保執(zhí)行問卷的時候有一致性的管理，我們細致的記錄需要的方法讓其他研究者（不同地方的）可以精確的使用。在這樣將能夠在其他國家有指引的作用。
我們最初被要求提供在其他歐洲國家的服務(wù)，這是偶然的在非家鄉(xiāng)外的初次嘗試，美國，澳大利亞，日本。我們有合作機構(gòu)在不同的國家，所以方法的一致性和期待的產(chǎn)出可以讓合作者有個前期的了解，最小化簡化時間。。
我們推薦執(zhí)行這一部分的時候使用該國家的合伙人的方式。有助于在每個國家的當?shù)氐臋C構(gòu)，多個國家管理。當?shù)氐臋C構(gòu)在非英語國家?guī)椭銜鴮憜柧眍}目來傳達你需要的潤色。他們也能翻譯更多的回他從客觀研究框架上。
有多種方式傳達測試需求和流程給合作者確保一致性。在花費和影像上，他們各異。所以，也值得和客戶討論利弊，幫助他們做一個明智的決定。這兒是一些典型的不同的方法你可以提高一致性，減少警惕的命令：

1. 出差到當?shù)厝?，和當?shù)睾献鳈C構(gòu)會面子啊研討開始前。清楚地傳達需求和流程保持觀察所有的部分和記筆記
2. 個人和合作機構(gòu)交流，觀察頭一個或兩個階段確保一致性，做記錄以及回頭會議當?shù)匮芯空邥h研討的發(fā)生。
3. 和當?shù)睾献鳈C構(gòu)通話，skype,或者郵件在研討會前，確保研討會順利進行通過觀察一個部分。
4. 和合作機構(gòu)通話，SKYPE或郵件，然后讓捉著在第一階段后何時運轉(zhuǎn)的如何。也需要注意返回的問卷數(shù)據(jù)，確保符合預期。否則，和合作者討論其中的差異，知道如何提高他們，特別是他們有一個準確的態(tài)度的反射或者測試過程不期待發(fā)生的東西。
5. 我們有規(guī)律性的管理這些國際間研討，國家地區(qū)間的差異總是要去注意。問卷體哦那個了最初的誘因讓我們意識到潛在的差異，但是我們?nèi)匀恍枰厮莞h的討論和訪談和參與者，知道差異的原因。因為只有這樣，收回的數(shù)據(jù)才能有穩(wěn)定的水平，或者檢測對比當?shù)匾约巴瓿傻?。差任何差異都可成為更深的探測在接下來的部分。
   23.7.5總結(jié)
   問卷作為一個方法理解標題和其他標題對比效果不錯，隨著他們開發(fā)可以參照他們自己的不同版本，以及在不同的地區(qū)。有助于實證的提供可靠的反饋給你的客戶。但是，不僅僅實用性價值：提供的數(shù)據(jù)也能給標桿提供短期或長期的作用

簡單，評價，法昂便，可轉(zhuǎn)移，問卷也提供大量的數(shù)據(jù)開啟更深入的研究使用其他方法。結(jié)果是靈活的，不需要更新才能工作，你可改變他們的內(nèi)容輕易的，你可能不能要單獨使用他們，但是替代是使用它們完成和從其他方法中找到支持性的發(fā)i西安。。它們經(jīng)常好像和研究發(fā)現(xiàn)的框架，有更多的細節(jié)的定性研究讓我們更加的深入。

現(xiàn)在有一個案例研究是我們進去個應(yīng)該一家游戲開發(fā)商做的測試。這個研究設(shè)計來檢測玩家在游戲不同玩法中“趣味性”的評分。我們希望個案研究展示我們?nèi)绾巫鳛樽稍冋邽橐粋€客戶服務(wù)，明白它們的需求和制作研究策略。也展示了使用用戶測試的整體流程，落地式的問卷和調(diào)查如何合適研究的方法論。