今日頭條為什么停服了?“天眼”內(nèi)容審核系統(tǒng)(一)

一、從頭條停服事件說內(nèi)容審核——互聯(lián)網(wǎng)公司后防線

頭條停服截圖

北京時(shí)間2017年12月29日晚,今日頭條打開后,出現(xiàn)更新維護(hù)一天的提示。一時(shí)間,炸開了鍋。不確切估算,頭條至少損失1億元廣告收入。第二天有消息稱,頭條計(jì)劃在天津擴(kuò)招2000名內(nèi)容審核人員,黨員優(yōu)先。
坊間有傳聞,是網(wǎng)信辦約談了今日頭條和鳳凰網(wǎng),指出其部分內(nèi)容涉嫌低俗,傳播情色等信息。


花椒問題截圖

2018年1月14日,北京市網(wǎng)信辦就“百萬贏家”活動(dòng)將香港、臺(tái)灣作為國(guó)家列入答題問題依法約談花椒直播相關(guān)負(fù)責(zé)人,責(zé)令全面整改。
從網(wǎng)信辦密集的約談和整改動(dòng)作可以看出,國(guó)家對(duì)app中的涉政和色情內(nèi)容的關(guān)注度在逐步加強(qiáng),這就引出了各大互聯(lián)網(wǎng)公司尤其是內(nèi)容輸出類app,必備的“內(nèi)容審核”業(yè)務(wù)。

二、用“產(chǎn)品思維”重建“內(nèi)容審核”

恰恰公司的審查業(yè)務(wù)剛起步,半年以來,以審查業(yè)務(wù)負(fù)責(zé)人的角度,我基本經(jīng)歷了“內(nèi)容審核”業(yè)務(wù)從0到1搭建的全過程。沒有任何內(nèi)容審核業(yè)務(wù)經(jīng)驗(yàn)的我,只能從產(chǎn)品經(jīng)理的角度,摸著石頭過河。我面前的問題是這樣的:

  • 背景
    公司的app類似于內(nèi)涵段子,用戶發(fā)帖發(fā)評(píng)論,數(shù)據(jù)按推薦流和話題兩種形式展示。
  • 目標(biāo)
    我的目標(biāo)就是,“把用戶發(fā)布的帖子和評(píng)論中的有害部分刪掉”。比如,用戶每天在app中發(fā)布100條帖子或評(píng)論,如果其中有1條色情或政治負(fù)面,就要想辦法把這條內(nèi)容刪掉。
    有人說,這個(gè)多簡(jiǎn)單呀!但是。。。上面只是為了描述方便,我們實(shí)際面對(duì)的是另一個(gè)問題,從百萬級(jí)以上帖子評(píng)論中,一個(gè)不落地刪掉那近萬條帖子。
  • 效果
    最后我們用30人+ 一雙“天眼”做到了如下效果:

365天7*24小時(shí)保證,用戶每發(fā)布100w條內(nèi)容中的10000條有害內(nèi)容,4小時(shí)內(nèi)清除其中9100條。

有人要問,那漏過的900條違規(guī)內(nèi)容怎么辦?答案是,通過用戶舉報(bào)和專人隨機(jī)巡查發(fā)現(xiàn)并處理;另外,“天眼”是一套業(yè)界領(lǐng)先的審核系統(tǒng),由我們自研。

  • 疑惑
    如何達(dá)到上述效果的?難道1個(gè)人每天審33000條帖子嗎?No,一人每天的上限是10000條。這里先賣個(gè)關(guān)子,我是用“數(shù)據(jù)驅(qū)動(dòng)問題解決”的思路設(shè)計(jì)系統(tǒng),并達(dá)成上述效果的。

三、“數(shù)據(jù)驅(qū)動(dòng)問題解決”的“三環(huán)四步法”

解決問題三個(gè)環(huán)節(jié)和四個(gè)步驟

問題、業(yè)務(wù)、產(chǎn)品或系統(tǒng)是解決問題過程中的三個(gè)核心環(huán)節(jié),產(chǎn)品經(jīng)理的職責(zé)從來都不僅僅是設(shè)計(jì)產(chǎn)品,那樣對(duì)自己定位太低。這樣定位自己,經(jīng)常出現(xiàn)產(chǎn)品自嗨,到頭來要么業(yè)務(wù)不落地沒法落實(shí),要么產(chǎn)品上線了問題卻沒解決,所以,我一直主張產(chǎn)品經(jīng)理的目標(biāo)——解決實(shí)際業(yè)務(wù)問題。
“三環(huán)四步法”可以有效解決問題,看圖:


三環(huán)四步法

發(fā)現(xiàn)了問題(現(xiàn)狀與目標(biāo)狀態(tài)的差距),問題“驅(qū)動(dòng)” 實(shí)現(xiàn)業(yè)務(wù),業(yè)務(wù)需求“驅(qū)動(dòng)”產(chǎn)品設(shè)計(jì),產(chǎn)品實(shí)現(xiàn)業(yè)務(wù)需求,業(yè)務(wù)解決問題。
舉個(gè)例子,比如發(fā)現(xiàn)了社區(qū)用戶發(fā)布違規(guī)色情內(nèi)容,那么會(huì)驅(qū)動(dòng)實(shí)現(xiàn)內(nèi)容審查業(yè)務(wù)環(huán)節(jié),最終需要進(jìn)行審查系統(tǒng)的設(shè)計(jì)與上線;接著,系統(tǒng)承載了審查業(yè)務(wù),最后解決了色情內(nèi)容泛濫的問題。

百分問題及量化現(xiàn)狀

量化現(xiàn)狀

根據(jù)現(xiàn)狀的易量化程度,可以將其分為易量化和不易量化兩種。而 問題 = 目標(biāo) - 現(xiàn)狀,從而,易量化和不易量化的現(xiàn)狀分別對(duì)應(yīng)“百分問題”和“零一問題”。
產(chǎn)品經(jīng)理遇到最多的應(yīng)該是“百分問題”,比如如何改進(jìn)推薦效果,讓條目平均ctr從A提升到B;而像搭建今日頭條的推薦系統(tǒng),這樣的“零一問題”只有少數(shù)人會(huì)碰到,所以本博專注更通用的“百分問題”展開討論。

下節(jié)預(yù)告

而解決“內(nèi)容審核”問題的關(guān)鍵就是如何量化現(xiàn)狀?用什么指標(biāo)衡量?具體講,就是知道審核過程實(shí)際過濾掉了多少有害內(nèi)容,還遺留多少有害內(nèi)容?
下一篇我們用“天眼”內(nèi)容審核系統(tǒng)為例,回答上述關(guān)鍵問題。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容