作者|胡婧煒
編輯|趙秋瑤
數(shù)據(jù)收集需要成本，一項調(diào)查動輒花費十幾萬或幾十萬，有些追蹤調(diào)查長期積累下來的花費甚至過億。正因為如此，很多項目負(fù)責(zé)人在實地調(diào)查前不免忐忑不安：我設(shè)計的問卷能不能收集到我真正所需要的信息？流程會不會出錯？在數(shù)據(jù)回收后，也經(jīng)常會發(fā)生因為設(shè)計上的失誤而導(dǎo)致數(shù)據(jù)缺失、錯誤等問題然而悔之晚矣的情況。
更糟糕的是，有些數(shù)據(jù)上的錯誤由于未能及時得以發(fā)現(xiàn)和調(diào)整，給人們的認(rèn)知或決策帶來極其負(fù)面的影響和不可挽回的損失。好的數(shù)據(jù)貴得是有道理的，數(shù)據(jù)收集的每一個環(huán)節(jié)都需要采取有效的質(zhì)量控制措施，才能規(guī)避錯誤，避免項目投入的錢財和人力付諸東流。
其中，在調(diào)查項目投放實地之前非常重要的一項質(zhì)量控制措施就是對設(shè)計好的問卷進行測試。遵循一定的程序和技巧，問卷測試可以有效地發(fā)現(xiàn)問卷在內(nèi)容、邏輯、流程等各方面的問題。
下面我們重點介紹常見的幾種問卷測試的方法：?? ? ? ?
01? 專家評審（expert review）
專家評審指邀請各方面的專家基于其專業(yè)領(lǐng)域的知識和經(jīng)驗對問卷可能存在的問題進行評估和提出解決方案。一般來說，專家評審應(yīng)至少包括四個方面的專家：
一是與項目主題相關(guān)的領(lǐng)域的專家，主要評估問卷對專業(yè)概念的表述是否準(zhǔn)確、測量的維度是否全面等；
二是調(diào)查方法專家，主要評估問卷在設(shè)計上的科學(xué)性與可行性，如問題是否準(zhǔn)確、流程是否適用、數(shù)據(jù)結(jié)構(gòu)是否合理等；
三是項目執(zhí)行專家，主要評估執(zhí)行過程中可能遇到哪些潛在的問題，如預(yù)算的控制、進度的控制、訪員的管理等；
四是計算機方面的專家，主要評估計算機輔助訪問或網(wǎng)絡(luò)訪問中程序?qū)崿F(xiàn)的難度以及可能存在的問題。
? ??優(yōu)勢：? ?
各方專家對問卷存在的潛在問題的識別范圍較廣，可以覆蓋錯別字、語病、跳轉(zhuǎn)錯誤、概念表述錯誤、數(shù)據(jù)結(jié)構(gòu)等各方面的錯誤。
快速且成本較低。
? ??劣勢：??
測試的效果取決于專家的水平。
只涉及來自專家的意見, 而并無來自實際被訪者的意見。
02? 焦點小組訪談（focus group）
焦點小組訪談由一個受過訓(xùn)練的主持人帶領(lǐng)5-10個被訪者組成小組，對特定的調(diào)查主題和核心概念進行無結(jié)構(gòu)化的輪流發(fā)言及深入討論，以了解不同被訪者對測量概念的理解的差異。
舉例來說，一項研究希望了解人們觀看和體驗藝術(shù)表演的情況。在焦點小組訪談中，被訪者對如何界定“觀看和體驗藝術(shù)表演”產(chǎn)生了爭議，比如，在飯店吃飯時順便聽到了飯店的鋼琴演奏算不算？在電視上看藝術(shù)表演算不算？調(diào)研者可以基于這些發(fā)現(xiàn)改進問卷，使問卷中的相關(guān)概念的界定和表述更加明確。
焦點小組訪談應(yīng)盡可能地確保所招募的被訪者在背景、經(jīng)歷和認(rèn)知上的多樣性，以發(fā)現(xiàn)盡可能多的問題。在訪談過程中，主持人應(yīng)營造輕松的討論環(huán)境，確保在不偏離主題的前提下所有人都有機會暢所欲言。
? ??優(yōu)勢：? ?
方法靈活，成本較低，效率較高。小組的形式可以節(jié)省時間，成員間的頭腦風(fēng)暴與深入討論有利于產(chǎn)生更多意想不到的發(fā)現(xiàn)。而當(dāng)意料之外的想法出現(xiàn)時，小組主持人還可以立馬跟進。這種方式可以幫助調(diào)研員在短的時間內(nèi)獲取更多的信息。
收集的信息直接來自于與實際調(diào)查中的被訪者相似的群體。
? ??劣勢：? ?
測試的效果受到主持人的專業(yè)素養(yǎng)、溝通技巧及其在現(xiàn)場的引導(dǎo)與控制的影響。
訪談結(jié)論僅僅來自一小部分人群，其在多大程度上適用于更廣泛的人群需謹(jǐn)慎考慮。
03? 認(rèn)知訪談（cognitive interview）
在認(rèn)知訪談中，訪員基于設(shè)計好的問卷對測試期選定的被訪者進行一對一的訪問，以了解被訪者如何理解問題和如何完成回答問題的任務(wù)。
認(rèn)知訪談通常使用出聲思維的方法（think aloud）鼓勵被訪者用自述的方式將回答問題時頭腦中的思考過程描述出來，或是使用口頭盤問的方法（verbal probing），由訪員根據(jù)被訪者的回答進行引導(dǎo)式的、循序漸進式的提問，如要求被訪者按照其對問題的理解重新描述一下問題或解釋一下問題中的某一個詞語、提問被訪者在回答過程中有什么困惑、提問被訪者是如何得到答案的等。基于認(rèn)知訪談，調(diào)研者可以評估現(xiàn)有問卷的敘述和邏輯是否合理，或被訪者在題意理解上是否會出現(xiàn)偏差等，并基于此對問卷做出改進。
認(rèn)知訪談與焦點小組訪談的目標(biāo)非常相似，而且與焦點小組訪談一樣要求所招募的被訪者在在背景、經(jīng)歷、認(rèn)知上盡可能的多樣化。但二者不同的是，焦點小組訪談側(cè)重于與被訪者綜合地、整體地探討問卷中的一些核心概念，而認(rèn)知訪談則側(cè)重于發(fā)現(xiàn)被訪者在回答一道道具體問題時的思維過程與答題策略。
? ??優(yōu)勢：???
收集的信息直接來自于與實際調(diào)查中的被訪者相似的群體。
通過了解被訪者在理解和回答問題時的思維過程，可以有效地發(fā)現(xiàn)問卷設(shè)計中的問題和導(dǎo)致問題的原因。
? ??劣勢：? ??
成本較高。
被訪者負(fù)擔(dān)很重，而且并不是所有被訪者都能夠適應(yīng)出聲思維的方法，也不是所有的問題都能夠描述出思維的過程。
被訪者可能因為需要口頭描述其思維過程而有意無意改變原本的答案。
訪談的實驗室環(huán)境與實際收集數(shù)據(jù)的環(huán)境有差異，不一定能發(fā)現(xiàn)實際環(huán)境中的問題。
訪談結(jié)論僅僅來自一小部分人群，其在多大程度上適用于更廣泛的人群需謹(jǐn)慎考慮。
04? 預(yù)調(diào)查（field pretest / pilot）
預(yù)調(diào)查指在實際調(diào)查前小范圍地對整個訪問的過程進行預(yù)演。預(yù)調(diào)查通常選用有經(jīng)驗的訪員進行訪問，訪問的數(shù)量在15-35人之間，被訪者多為方便樣本，但盡量保證與實際調(diào)查中的被訪者的背景相似。除了被訪者不是基于概率抽樣的方法選出，預(yù)調(diào)查所使用的問卷以及所有的流程都與即將進行的實際調(diào)查一致，這樣有利于發(fā)現(xiàn)實際數(shù)據(jù)收集過程中被訪者或訪員可能出現(xiàn)的問題。
大體來說，預(yù)調(diào)查的優(yōu)勢是能夠模擬真實的數(shù)據(jù)收集過程，發(fā)現(xiàn)真實環(huán)境下可能出現(xiàn)的問題，并可以提供定量的可供分析的信息；劣勢是成本相對較高，而且數(shù)據(jù)同樣不具有代表性，測試的效果很大程度上取決于被訪者多大程度上與實際調(diào)查中的被訪者相似。
預(yù)調(diào)查的結(jié)果可以通過以下三種方式來進行評估，我們下面依次介紹以下三種方法：
（1）訪員匯報（interviewer debriefing）
調(diào)研者通過訪員問卷調(diào)查或者訪員間小組討論來獲取來自訪員的意見。訪員匯報的主要內(nèi)容是他們在整個訪問過程中的體驗，以及他們實際遇到的或者他們認(rèn)為可能存在的各種問題。
? ??優(yōu)勢：??
可以反映問卷給受訪者帶來的體驗和困難，以及訪員對導(dǎo)致問題的原因的評估。
????劣勢：??
僅適用于有訪員參與的面訪或者電訪調(diào)查。
信息往往是主觀和非系統(tǒng)性的，如對于什么樣的問題可以稱之為問題，不同的訪員的評判標(biāo)準(zhǔn)是不一樣的。
訪員發(fā)現(xiàn)問題的能力有差異。比如說，有經(jīng)驗的訪員可能會無意識地修正問題中的錯誤，因而可能根本意識不到問題的存在。
（2）被訪者匯報（respondent debriefing）
調(diào)研者通過在原問卷上添加額外問題或再次聯(lián)系被訪者的方式獲取來自被訪者的意見。被訪者匯報主要用于了解實際訪問場景下被訪者理解和回答問題的思維過程，以評估所收集的數(shù)據(jù)在多大程度上符合設(shè)計的預(yù)期。被訪者匯報還可以了解被訪者答題的主觀體驗以及對調(diào)查的整體反饋，如問題內(nèi)容是否太過敏感、調(diào)查時間是否太長等。
? ??優(yōu)勢：? ?
可以有效地了解實際訪問過程中被訪者回答問題的思維過程，評估他們在理解和回答問題時可能出現(xiàn)的問題并進行改進。
? ??劣勢：? ?
添加太多的額外問題會實際改變測量的工具并影響到預(yù)調(diào)查的流程，使得預(yù)調(diào)查并不能真正地模擬真實調(diào)查的情景。因而這種方法只適用于對一小部分問題進行評估（一般不超過6道問題）。
再次聯(lián)系被訪者獲取的信息的準(zhǔn)確程度依賴于被訪者的記憶能力。
（3）行為編碼（behavior coding）
調(diào)研者在獲得被訪者同意的前提下，通過音頻的方式全程記錄訪問的過程，然后對這些音頻記錄中訪員和被訪者詢問和回答問題的行為進行編碼，并統(tǒng)計出調(diào)查過程中出現(xiàn)各種問題的頻率。其中，對訪員行為的編碼包括是否正確讀出問題、是否對問題進行了改動以及改動程度如何、是否出現(xiàn)跳轉(zhuǎn)錯誤等，對被訪者行為的編碼包括是否要求重讀問題、是否要求解釋問題、是否提供了選項之外的答案、是否打斷問題、回答問題的語氣是否不太確定等。對于出現(xiàn)頻率特別高的問題，調(diào)研者應(yīng)該考慮進行改進。
? ??優(yōu)勢：? ?
客觀、系統(tǒng)、可復(fù)制、可量化的測試結(jié)果可以為研究者提供更可信的證據(jù)。
? ??劣勢：??
編碼只能反映訪問過程中出現(xiàn)的問題，卻很少能提示問題出現(xiàn)的原因，通常需要結(jié)合訪員或被訪者匯報來識別出產(chǎn)生問題的原因。
有些問題不能被很好的觀察到，比如只要被訪者自己認(rèn)為自己能夠正確理解問卷中問題，他們在答題行為上便不會有任何異常的體現(xiàn)。
05? 統(tǒng)計方法（statistical methods）
統(tǒng)計方法建立在預(yù)調(diào)查的基礎(chǔ)上。當(dāng)預(yù)調(diào)查的數(shù)據(jù)量足夠大時（一般30人以上），可以采用統(tǒng)計的方法并結(jié)合計算機技術(shù)來對問卷結(jié)果進行客觀的評估。
通常來說，檢查答案的分布可以得到一些有益的啟示。比如說，如果一道問題的大部分的答案都集中在一兩個選項，那么這道問題所收集的信息其實是非常有限的，選項的設(shè)置很有可能需要重新調(diào)整；再比如說，如果一道問題沒有人問答，那么研究者可能需要考慮這道問題是否在跳轉(zhuǎn)上存在錯誤，或者這道問題是否太難以致于被訪者無法回答等。
此外，變量間的相關(guān)關(guān)系是否符合預(yù)期也是評估問卷設(shè)計的一個依據(jù)。如果是網(wǎng)絡(luò)調(diào)查，那么對并行數(shù)據(jù)（paradata）（如擊鍵行為、鼠標(biāo)的移動、答題時間、中途退出等信息）的統(tǒng)計分析也能發(fā)現(xiàn)一些問題。比如說，如果大量受訪者在某一道題退出訪問，那么這道題有可能太過敏感以致于很多人都放棄答題，或者這道題在編程上存在問題以致于很多人在答到此題時主動或被迫退出（如加載速度過慢）。再比如說，如果某道題的答題時間過長，那么這道題可能回答的難度過大。
? ??優(yōu)勢：? ?
對于調(diào)研者評估問卷數(shù)據(jù)的質(zhì)量能夠提供非常有用的信息。
基于已有的預(yù)調(diào)查數(shù)據(jù)進行統(tǒng)計方法的評估，成本是相對低廉的。
? ??劣勢：? ?
數(shù)據(jù)不具有代表性，其所提供的信息的價值取決于被訪者多大程度上與實際調(diào)查中的被訪者相似。
除以上5種常用的問卷測試方法外，針對一些具體的測試目標(biāo)我們還有別的一些具體的測試方法，此處不再一一介紹?？偟膩碚f，各種方法有各自的側(cè)重點，我們可以根據(jù)項目的具體情況著重選擇其中一種或幾種測試方法。同時，由于各種方法都有其局限性，我們建議在經(jīng)費許可的條件下，盡可能地采取多種測試方法，以互相補充，盡可能多地發(fā)現(xiàn)問題。
文獻：
Fowler, Floyd J. 1995.?Improving Survey Questions: Design and Evaluation.?SAGE Publication, Inc.
