一、從頭條停服事件說內(nèi)容審核——互聯(lián)網(wǎng)公司后防線

北京時(shí)間2017年12月29日晚,今日頭條打開后,出現(xiàn)更新維護(hù)一天的提示。一時(shí)間,炸開了鍋。不確切估算,頭條至少損失1億元廣告收入。第二天有消息稱,頭條計(jì)劃在天津擴(kuò)招2000名內(nèi)容審核人員,黨員優(yōu)先。
坊間有傳聞,是網(wǎng)信辦約談了今日頭條和鳳凰網(wǎng),指出其部分內(nèi)容涉嫌低俗,傳播情色等信息。

2018年1月14日,北京市網(wǎng)信辦就“百萬贏家”活動(dòng)將香港、臺(tái)灣作為國(guó)家列入答題問題依法約談花椒直播相關(guān)負(fù)責(zé)人,責(zé)令全面整改。
從網(wǎng)信辦密集的約談和整改動(dòng)作可以看出,國(guó)家對(duì)app中的涉政和色情內(nèi)容的關(guān)注度在逐步加強(qiáng),這就引出了各大互聯(lián)網(wǎng)公司尤其是內(nèi)容輸出類app,必備的“內(nèi)容審核”業(yè)務(wù)。
二、用“產(chǎn)品思維”重建“內(nèi)容審核”
恰恰公司的審查業(yè)務(wù)剛起步,半年以來,以審查業(yè)務(wù)負(fù)責(zé)人的角度,我基本經(jīng)歷了“內(nèi)容審核”業(yè)務(wù)從0到1搭建的全過程。沒有任何內(nèi)容審核業(yè)務(wù)經(jīng)驗(yàn)的我,只能從產(chǎn)品經(jīng)理的角度,摸著石頭過河。我面前的問題是這樣的:
- 背景
公司的app類似于內(nèi)涵段子,用戶發(fā)帖發(fā)評(píng)論,數(shù)據(jù)按推薦流和話題兩種形式展示。 - 目標(biāo)
我的目標(biāo)就是,“把用戶發(fā)布的帖子和評(píng)論中的有害部分刪掉”。比如,用戶每天在app中發(fā)布100條帖子或評(píng)論,如果其中有1條色情或政治負(fù)面,就要想辦法把這條內(nèi)容刪掉。
有人說,這個(gè)多簡(jiǎn)單呀!但是。。。上面只是為了描述方便,我們實(shí)際面對(duì)的是另一個(gè)問題,從百萬級(jí)以上帖子評(píng)論中,一個(gè)不落地刪掉那近萬條帖子。 - 效果
最后我們用30人+ 一雙“天眼”做到了如下效果:
365天7*24小時(shí)保證,用戶每發(fā)布100w條內(nèi)容中的10000條有害內(nèi)容,4小時(shí)內(nèi)清除其中9100條。
有人要問,那漏過的900條違規(guī)內(nèi)容怎么辦?答案是,通過用戶舉報(bào)和專人隨機(jī)巡查發(fā)現(xiàn)并處理;另外,“天眼”是一套業(yè)界領(lǐng)先的審核系統(tǒng),由我們自研。
- 疑惑
如何達(dá)到上述效果的?難道1個(gè)人每天審33000條帖子嗎?No,一人每天的上限是10000條。這里先賣個(gè)關(guān)子,我是用“數(shù)據(jù)驅(qū)動(dòng)問題解決”的思路設(shè)計(jì)系統(tǒng),并達(dá)成上述效果的。
三、“數(shù)據(jù)驅(qū)動(dòng)問題解決”的“三環(huán)四步法”
解決問題三個(gè)環(huán)節(jié)和四個(gè)步驟
問題、業(yè)務(wù)、產(chǎn)品或系統(tǒng)是解決問題過程中的三個(gè)核心環(huán)節(jié),產(chǎn)品經(jīng)理的職責(zé)從來都不僅僅是設(shè)計(jì)產(chǎn)品,那樣對(duì)自己定位太低。這樣定位自己,經(jīng)常出現(xiàn)產(chǎn)品自嗨,到頭來要么業(yè)務(wù)不落地沒法落實(shí),要么產(chǎn)品上線了問題卻沒解決,所以,我一直主張產(chǎn)品經(jīng)理的目標(biāo)——解決實(shí)際業(yè)務(wù)問題。
“三環(huán)四步法”可以有效解決問題,看圖:

發(fā)現(xiàn)了問題(現(xiàn)狀與目標(biāo)狀態(tài)的差距),問題“驅(qū)動(dòng)” 實(shí)現(xiàn)業(yè)務(wù),業(yè)務(wù)需求“驅(qū)動(dòng)”產(chǎn)品設(shè)計(jì),產(chǎn)品實(shí)現(xiàn)業(yè)務(wù)需求,業(yè)務(wù)解決問題。
舉個(gè)例子,比如發(fā)現(xiàn)了社區(qū)用戶發(fā)布違規(guī)色情內(nèi)容,那么會(huì)驅(qū)動(dòng)實(shí)現(xiàn)內(nèi)容審查業(yè)務(wù)環(huán)節(jié),最終需要進(jìn)行審查系統(tǒng)的設(shè)計(jì)與上線;接著,系統(tǒng)承載了審查業(yè)務(wù),最后解決了色情內(nèi)容泛濫的問題。
百分問題及量化現(xiàn)狀

根據(jù)現(xiàn)狀的易量化程度,可以將其分為易量化和不易量化兩種。而 問題 = 目標(biāo) - 現(xiàn)狀,從而,易量化和不易量化的現(xiàn)狀分別對(duì)應(yīng)“百分問題”和“零一問題”。
產(chǎn)品經(jīng)理遇到最多的應(yīng)該是“百分問題”,比如如何改進(jìn)推薦效果,讓條目平均ctr從A提升到B;而像搭建今日頭條的推薦系統(tǒng),這樣的“零一問題”只有少數(shù)人會(huì)碰到,所以本博專注更通用的“百分問題”展開討論。
下節(jié)預(yù)告
而解決“內(nèi)容審核”問題的關(guān)鍵就是如何量化現(xiàn)狀?用什么指標(biāo)衡量?具體講,就是知道審核過程實(shí)際過濾掉了多少有害內(nèi)容,還遺留多少有害內(nèi)容?
下一篇我們用“天眼”內(nèi)容審核系統(tǒng)為例,回答上述關(guān)鍵問題。