文 | Ben Leet

最近我被邀請(qǐng)?jiān)跉W洲的洞察創(chuàng)新變化大會(huì)上作題為2020年的研究是什么樣的演講。我決定談?wù)剣@我們?cè)诰€調(diào)查和樣本庫(kù)管理這部分的行業(yè)趨勢(shì)，以及我覺得未來會(huì)怎么樣。

問題 1 –不耐煩的受訪者

我們?cè)谧约旱膒anel中做了一些全面的測(cè)試，以了解受訪者的心態(tài)。其結(jié)果是讓人意外的：幾乎60%的panel每次使用超過15分鐘，而其中幾乎80%想要做超過15分鐘的調(diào)查。然而我們發(fā)現(xiàn)大部分受訪者承認(rèn)至少有時(shí)會(huì)在調(diào)查中為提高速度而降低回答質(zhì)量，在給出的原因中，名列前茅的是無聊或啰嗦或低刺激（謝禮）。

問題 2 –不好的研究者讓在線調(diào)查變得更長(zhǎng)更復(fù)雜

要求我們實(shí)施的調(diào)查在變得更長(zhǎng)、更復(fù)雜、更重復(fù)?，F(xiàn)在平均調(diào)查時(shí)間超過了20分鐘，而且其中很多還不能進(jìn)行移動(dòng)操作。為了獲得高質(zhì)量的數(shù)據(jù)，并避免這種在調(diào)查中提高速度的趨勢(shì)，應(yīng)該提高刺激（謝禮）作為花費(fèi)的時(shí)間和所帶來的不便的補(bǔ)償。

問題 3 –不對(duì)等對(duì)待Panel用戶就得到不好的質(zhì)量

研究公司相信所有的panels都是用同樣的方式建立的，因此，他們只關(guān)心他們購(gòu)買樣本的價(jià)格。當(dāng)然，他們會(huì)“說”質(zhì)量是重要的，但是甚至沒有詢問過正確的質(zhì)量問題，而是基于價(jià)格作出購(gòu)買決定。

研究公司在寫著冗長(zhǎng)而無聊的問卷，認(rèn)為受訪者會(huì)在意他們給出的答案，然后研究公司會(huì)付幾個(gè)子兒給受訪者。因此受訪者的行為也就變得要盡量快地加速完成調(diào)查以得到他們少得可憐的謝禮?？偟膩碚f，行業(yè)在任務(wù)上有誤差，這就意味著縱向的數(shù)據(jù)會(huì)隨著時(shí)間而變化，即使方法“必須不變以保持一致性”。

問題 4 –樣本的來源

業(yè)內(nèi)有一種常見的錯(cuò)誤概念即所有的panel都是以同樣的方式建立起來的所以panel = 好的質(zhì)量，而攔截 = 壞的質(zhì)量。即使是ESOMAR 的28個(gè)問題也有這樣的暗指。

“請(qǐng)描述并解釋您得到受訪者的不同類型的網(wǎng)絡(luò)樣本來源。是數(shù)據(jù)庫(kù)嗎？積極管理的研究panel？直銷清單？社交網(wǎng)絡(luò)？網(wǎng)絡(luò)攔截(river) 樣本？”這種語境暗示了對(duì)于網(wǎng)絡(luò)樣本提供者的來源類型描述能夠提供對(duì)樣本質(zhì)量的洞察。

首先，這種語境是完全錯(cuò)誤的。樣本的購(gòu)買者絕對(duì)無法僅僅通過了解樣本panal是來自panel還是攔截而得到任何關(guān)于樣本質(zhì)量的洞察。正如我在阿姆斯特丹說過的，一個(gè)好的類比是釣魚。您更愿意吃一條今天剛從河里釣來的魚,還是上周從恒河釣來并包裝好的魚？湖里的魚味道更好，但是因?yàn)槲覀儗?duì)它一無所知，所以我們更愿意選擇從恒河大量打撈的，能傳染疾病的，包裝好的魚？我對(duì)此表示懷疑。

網(wǎng)絡(luò)樣本的質(zhì)量取決于樣本的實(shí)際來源。Panel還是攔截并不是來源，它只是方法。有許多聯(lián)合機(jī)構(gòu)和發(fā)布者的流量不是用于survey router (攔截)，就是用于panel，而且同樣的來源常常同時(shí)被攔截和panel所用，所以所有這些其實(shí)都是關(guān)于流動(dòng)的來源。

真正能夠確定樣本質(zhì)量的問題應(yīng)該是：

你們是怎樣進(jìn)行招募的？請(qǐng)描述不同的來源，以及混合使用是怎樣建立起研究panels/推動(dòng)survey routers的。

你的公司是否有能力追溯來源中受訪者的質(zhì)量，并積極主動(dòng)地對(duì)這些來源進(jìn)行管理？具體是怎么做的？

在你管理的panel中，平均退出率、不合適率和召回率分別是多少？

問題 5 – panel公司更在意效率而不是質(zhì)量

他們當(dāng)然是這樣的。在商品化的市場(chǎng)中，質(zhì)量在銷售過程中其實(shí)什么也不是，企業(yè)沒有別的選擇，只能追求維持利潤(rùn)的效率。所有的業(yè)務(wù)都有股東在后面盯著，要從創(chuàng)造的利潤(rùn)中賺錢，這就意味著如果價(jià)格降低了，就一定要削減費(fèi)用。

大部分panel公司是怎樣削減費(fèi)用的：

最明顯的就是確保受訪者看到盡可能多的調(diào)查，并完成盡可能多的調(diào)查。這就需要通過發(fā)送對(duì)他們進(jìn)行預(yù)處理。這樣能夠優(yōu)化panels，但會(huì)帶來數(shù)據(jù)的偏離。 “一份邀請(qǐng)針對(duì)一個(gè)調(diào)查”的日子已經(jīng)遠(yuǎn)去很久了。

減少謝禮。相對(duì)于總是很長(zhǎng)時(shí)間的低質(zhì)量調(diào)查來說，謝禮總是很低。

更便宜的來源。更便宜的網(wǎng)絡(luò)流量來源總是傾向于轉(zhuǎn)化出更高的利潤(rùn)，這并不是什么巧合，因?yàn)檫@些來源只驅(qū)使那些非常為了錢主動(dòng)積極的調(diào)查接受者。能否運(yùn)用機(jī)器學(xué)習(xí)和一些智能數(shù)據(jù)技術(shù)（運(yùn)算法則）以便在不詢問受眾的情況下，就能更好地預(yù)測(cè)哪些調(diào)查與哪些受眾相關(guān)？這能帶來更好的受訪者體驗(yàn)，而不需要對(duì)他們進(jìn)行傳統(tǒng)方式需要進(jìn)行的預(yù)處理。這意味著我們還是能夠承擔(dān)接近于低質(zhì)量來源的成本，而不必在基本目標(biāo)上作出妥協(xié)。

我們的世界在2020年會(huì)是什么樣子？想想大數(shù)據(jù)和機(jī)器學(xué)習(xí)涌現(xiàn)的速度吧，一個(gè)災(zāi)難性的后果是有人會(huì)建立一種運(yùn)算法則來代替受訪者，而我們的研究客戶不會(huì)注意到數(shù)據(jù)有任何不同。事實(shí)上，我們已經(jīng)在使我們的受訪者像機(jī)器一樣思考了。如果我們想要阻止這種趨勢(shì)，我們就必須在與受訪者的溝通方面做得更好：

1.保持簡(jiǎn)短。時(shí)間是寶貴的。我們已經(jīng)對(duì)他們了解了那么多，為什么還要一遍又一遍地問那些同樣的該死的問題？在這里我們可以更聰明一點(diǎn)。

2.要更多考慮移動(dòng)端。沒有人想坐在電腦前30分鐘回答你的問題，把它縮短到10分鐘，發(fā)到他們的移動(dòng)設(shè)備上，這樣所獲得的洞察就會(huì)更豐富更精確。

這個(gè)行業(yè)的變化比以往任何時(shí)候都快，現(xiàn)在是在機(jī)器完全取代我們之前擁抱變化的時(shí)候了。