最近做的一個(gè)項(xiàng)目，是從數(shù)據(jù)源里尋找美容項(xiàng)目的銷售線索。我們收集了有美容意向的人群經(jīng)常造訪的網(wǎng)站和一些常見(jiàn)的行為URL，以此為線索，去源頭數(shù)據(jù)庫(kù)中尋找訪問(wèn)了這些網(wǎng)站的人群的信息，再通過(guò)第三方數(shù)據(jù)找到這些人的聯(lián)系方式，這樣就是銷售線索。
呼叫中心撥打了電話后，會(huì)給反饋，哪些手機(jī)號(hào)是真實(shí)有效的線索（比如，通話一分鐘仍然沒(méi)有掛斷，有興趣留下聯(lián)系方式進(jìn)一步了解細(xì)節(jié)），哪些是無(wú)效線索（完全無(wú)此興趣）。
這樣做了一段時(shí)間后，發(fā)現(xiàn)成功率很不穩(wěn)定，有時(shí)一個(gè)星期的成功率少于千分之五，比之前低了太多太多，很影響客戶的營(yíng)銷運(yùn)作的成本和積極性。
這是什么原因呢？我和運(yùn)營(yíng)的同學(xué)回顧了兩個(gè)半月的數(shù)據(jù)，回溯分析了一下。
我們手上可以用來(lái)回溯的數(shù)據(jù)資源有：
1）成功的手機(jī)號(hào)，和失敗的手機(jī)號(hào)，和還沒(méi)打通還沒(méi)確認(rèn)到底有無(wú)意向的unknown組，分別大概有6000，200，和4000個(gè)。2）這三組手機(jī)號(hào)對(duì)應(yīng)的上網(wǎng)ID。3）這三組上網(wǎng)ID的上網(wǎng)行為：日期，時(shí)間戳，行為URL，來(lái)源URL。4）客戶呼叫中心撥打這些電話的錄音記錄。這個(gè)第四個(gè)數(shù)據(jù)源也是很有用的，當(dāng)鎖定一些有疑問(wèn)的手機(jī)號(hào)的時(shí)候，往往就是需要聽(tīng)一下實(shí)際營(yíng)銷的錄音，才能有感覺(jué)，這群人到底是有意向沒(méi)意向，還是根本就是從業(yè)者或者水軍？還是有意向美容的人群的親友的電話？但也必須要經(jīng)過(guò)數(shù)據(jù)分析，有目的，有篩選的聽(tīng)，否則成千上萬(wàn)的電話，挨個(gè)聽(tīng)也暈頭轉(zhuǎn)向了。
這樣，我和運(yùn)營(yíng)的同學(xué)就開(kāi)始了分析，首先設(shè)定了一下分析的意圖：
1.1）看看是不是有某些上網(wǎng)ID，或者IP下面，很多的失敗手機(jī)號(hào)，卻沒(méi)有成功手機(jī)號(hào)，那么很可能是從業(yè)機(jī)構(gòu)的辦公I(xiàn)D。如果驗(yàn)證了的話，那么以后就可以直接忽略這些IP下的上網(wǎng)行為。
1.2）看看成功組和失敗組，在上網(wǎng)時(shí)間上有沒(méi)有差異？比如，工作日訪次高？周末訪次高？比如，工作時(shí)間訪次高？休息時(shí)段訪次高？
1.3）看看兩組人群，在訪問(wèn)的站點(diǎn)上有差異？比如，有的站是受了惡意點(diǎn)擊，所以訪客里大多數(shù)是水軍？
1.4）兩組人群對(duì)比，是不是訪問(wèn)的站點(diǎn)個(gè)數(shù)有差異？是不是真實(shí)潛客是看不多不少，看幾個(gè)站，而非潛客只是誤打誤撞到一個(gè)網(wǎng)站沒(méi)有細(xì)看就離開(kāi)？水軍則是高頻遍歷多個(gè)網(wǎng)站？
帶著這些疑問(wèn)，我去上網(wǎng)行為里統(tǒng)計(jì)分析了一下，使用的工具是python的pandas和numpy，尤其是Ipython notebook是利器，只要把數(shù)據(jù)放入dataframe，用來(lái)做多維度的分組各類統(tǒng)計(jì)再合適不過(guò)。一是速度快，二是還留下完整的分析經(jīng)過(guò)，留下寶貴的復(fù)盤(pán)資料。
具體的過(guò)程是：用python把數(shù)據(jù)清洗整理為dataframe之后，dump到pickle包里，以后每次想分析的時(shí)候只要在ipython notebook里import pkl文件，即刻就可以開(kāi)啟隨意分析。
想看分布可視化的時(shí)候，可以用python自帶的matplotlib，或者導(dǎo)出到excel用tableau做可視化更漂亮些。
這樣一分析，
2.1）確實(shí)有些IP下有近百失敗手機(jī)號(hào)，沒(méi)有成功號(hào)碼，這些IP可以黑名單了。
2.2）失敗組的人均日均訪次很少超過(guò)一百，成功組的人均日均訪次則三四百居多。這個(gè)可以參考，但是以后就可以依據(jù)這個(gè)把人均日均訪次兩百以下的拉黑嗎？好像又有點(diǎn)濫殺。暫時(shí)保留吧，看看是否可以作為輔助規(guī)則、不能當(dāng)做一票否決。
2.3）從周幾的規(guī)律、和二十四小時(shí)的規(guī)律上來(lái)看，兩組對(duì)照沒(méi)有明顯差異。
2.4）從訪問(wèn)站點(diǎn)的規(guī)律上看，發(fā)現(xiàn)，有半數(shù)手機(jī)只看了一個(gè)站，百分之十幾的手機(jī)看兩三個(gè)站，總體來(lái)說(shuō)看的站越多的手機(jī)號(hào)也越少。從成功率來(lái)看，只看一個(gè)站的成功率很低大概千分之一，看了兩個(gè)站，三個(gè)站的成功率已經(jīng)高到百分之一，看了四個(gè)站的最高接近百分之十，然后看了5678甚至十幾個(gè)站的成功率又是遞減了、大概是從業(yè)人群了吧。
這樣，如何進(jìn)一步細(xì)化區(qū)分這些只看了一個(gè)站的人群就比較重要了。
我們考慮的思路是，雖然這些人都只看了一個(gè)站，但是兩組人群是不是可能：1）總訪次不一樣呢？2）人均日均訪次不一樣呢？3）訪問(wèn)天數(shù)是不是不一樣呢？無(wú)誠(chéng)意者沒(méi)事應(yīng)該不會(huì)好多天訪問(wèn)一個(gè)站點(diǎn)吧？4）訪問(wèn)站點(diǎn)不一樣？是不是有些站就是很多誤訪問(wèn)的過(guò)客呢？
用這個(gè)思路看了一遍，
3.1）總訪次差異不大，成功組最大是六七百，失敗組卻有百分之五左右過(guò)千次訪問(wèn)甚至近萬(wàn)。以后黑名單這些只看一個(gè)站、訪次近萬(wàn)的疑似水軍？這個(gè)只能濾掉占比較少的失敗手機(jī)、而且有可能誤殺。當(dāng)做一票否決也不太合適。
btw，用tableau的‘創(chuàng)建級(jí)’和‘參數(shù)控件自定義數(shù)據(jù)桶’的功能，做行為頻次分布，實(shí)在是利器。這個(gè)圖是用10作為步長(zhǎng)的。
但實(shí)際上，參數(shù)控件可以自定義放在右邊，拉動(dòng)滑塊，可以把100，50，1000，任意大小的步長(zhǎng)都可以。這樣，拉動(dòng)滑塊，即刻就可以看到各個(gè)層級(jí)的總體占比。和寫(xiě)代碼統(tǒng)計(jì)的體驗(yàn)簡(jiǎn)直不可同日而語(yǔ)。
http://www.itdecent.cn/p/68b95937281e
3.2）日均人均訪次差別也不大，甚至周一到周日，七天的人均日均訪次都非常接近，在七八十左右。
3.3）訪問(wèn)天數(shù)，統(tǒng)計(jì)出來(lái)的結(jié)果，證明不能用天數(shù)當(dāng)做區(qū)分。成功組人群，大概三十幾個(gè)，三個(gè)月的時(shí)間里就只有一天看了一個(gè)站，卻是誠(chéng)意潛客；失敗組人群，有少數(shù)看了十幾天，大多數(shù)也是只看了一天。因此，只看一天，不是區(qū)分是否是誠(chéng)意潛客的標(biāo)準(zhǔn)。
3.4）訪問(wèn)站點(diǎn)到時(shí)找到幾個(gè)站，出了近百失敗手機(jī)，沒(méi)出成功手機(jī)。這些在1.3）里面也是要拉黑的host。
于是，經(jīng)過(guò)這一輪分析，結(jié)論是：
按照1.3，3.4產(chǎn)出的標(biāo)準(zhǔn)，對(duì)下個(gè)星期的美容上網(wǎng)行為數(shù)據(jù)進(jìn)行過(guò)濾，產(chǎn)出一批手機(jī)號(hào)碼，按照2.1產(chǎn)出的標(biāo)準(zhǔn)，產(chǎn)出另一個(gè)手機(jī)號(hào)碼。做一個(gè)類似A/B測(cè)試，看看兩種處理邏輯，哪種產(chǎn)出的銷售線索成功率更高。
總的來(lái)說(shuō)，這一輪分析，讓我們八卦的心有少許收獲、也不少失望，畢竟行為模式上，真假潛客現(xiàn)在還真是無(wú)間道、分不清。1.3，3.4，2.1的發(fā)現(xiàn)，也只能做一個(gè)猜測(cè)、還要在持續(xù)的A/B測(cè)試中觀望觀望。下個(gè)星期再看效果吧。
