對(duì)于搜索業(yè)務(wù)而言，繞不開(kāi)的指標(biāo)是準(zhǔn)確率與召回率。
站在產(chǎn)品經(jīng)理的角度，是否需要提升這兩個(gè)指標(biāo)，具體又該如何與研發(fā)工程師協(xié)作呢？
什么是準(zhǔn)確率（Precision） 與 召回率（Recall）
如圖所示：
我們希望從全集中，選取中正確的部分（T），但是不可避免的會(huì)混雜一些誤判（將錯(cuò)的視作了正確的），因而得到了Precision 與 Recall
- Precision: 篩選出的正樣本中，有多少判斷對(duì)了。
- Recall：在全部正樣本中，有多少被篩選出了。
搜索的基礎(chǔ)模型，就是一個(gè)按照詞對(duì)于文檔內(nèi)容建立索引，再響應(yīng)用戶檢索詞，按照索引結(jié)構(gòu)篩選出對(duì)應(yīng)文檔的過(guò)程。這也就是，為什么我們?cè)谡劶八阉鞯臅r(shí)候，總是不能免俗的要提到準(zhǔn)確率和召回率的原因。
指標(biāo)出發(fā)，如何對(duì)準(zhǔn)確率、召回率產(chǎn)生貢獻(xiàn)
對(duì)于純數(shù)據(jù)指標(biāo)的優(yōu)化而言，算法依賴的有三：更準(zhǔn)確、更大規(guī)模的樣本數(shù)據(jù)；更優(yōu)化的模型；更強(qiáng)大的算力。
更優(yōu)化的模型，往往趨近于模型、數(shù)學(xué)層面。當(dāng)我們應(yīng)用了更新的模型時(shí)，通常能夠得到更好的分類、預(yù)測(cè)效果。從早期的決策樹(shù)、機(jī)器學(xué)習(xí)方法 到如今的深度學(xué)習(xí)，模型的復(fù)雜度逐漸上升，模型的產(chǎn)出效果也得到了極大的提升。
強(qiáng)大的算力，從理想態(tài)回落到現(xiàn)實(shí)態(tài)，優(yōu)化的計(jì)算模型是依賴計(jì)算能力支撐的。正所謂”一力降十會(huì)“，只有足夠強(qiáng)大的計(jì)算能力作為后盾，我們才能夠支撐模型的在線、工業(yè)化應(yīng)用。以我們熟悉的搜索引擎谷歌為例，谷歌的云計(jì)算中心每天的耗電量相當(dāng)于瑞士的日內(nèi)瓦市整個(gè)城市的耗電量。
更準(zhǔn)確、更大規(guī)模的樣本數(shù)據(jù)。算力支持下的模型，本質(zhì)上是在做一種擬合，即，在樣本數(shù)據(jù)的一次又一次“?？肌敝锌汲霰M可能高的分?jǐn)?shù)。樣本數(shù)據(jù)，作為讓模型擬合的對(duì)象，只有足夠豐富和準(zhǔn)確，才能夠“訓(xùn)練“出好的算法。否則，只會(huì)如那句老話”garbage in,garbage out”，提供給算法模型噪聲過(guò)大的數(shù)據(jù)， 最后只能得到一塌糊涂的模型輸出。
從上面三者不難看出，和產(chǎn)品經(jīng)理有關(guān)的是更多、更好樣本數(shù)據(jù)。
所以，我們才會(huì)不斷的進(jìn)行標(biāo)注，就像教授小朋友一樣，不厭其煩的累積足夠多的正負(fù)樣本給算法作為計(jì)算的基礎(chǔ)，從而提升算法的有效性。在具體的工業(yè)應(yīng)用中，我們還可以通過(guò)建設(shè)各種專向詞典的方式，如城市詞典、公司詞典、明星詞典，以近乎標(biāo)準(zhǔn)答案的輸入提升算法所依賴的數(shù)據(jù)質(zhì)量。
業(yè)務(wù)出發(fā)，準(zhǔn)確與召回不是唯一
產(chǎn)品經(jīng)理思考的是什么？特定場(chǎng)景下的用戶滿意度。
當(dāng)用戶使用搜索時(shí)，需要是在最短的時(shí)間里，收獲自己滿意的結(jié)果。
準(zhǔn)確 和 召回指標(biāo)，是我們對(duì)于用戶滿意的搜索結(jié)果的基礎(chǔ)描述，而非完備描述。
即，準(zhǔn)確 和 召回不超過(guò)一定閾值是不行的，但是當(dāng)超過(guò)一定閾值之后，這兩個(gè)指標(biāo)對(duì)于用戶滿意度的貢獻(xiàn)就會(huì)邊際效應(yīng)遞減。
產(chǎn)品經(jīng)理需要結(jié)合場(chǎng)景，更多的去思考用戶會(huì)因何而滿意。
一個(gè)典型Case，用戶搜“天氣”。他只需要一個(gè)準(zhǔn)確的天氣結(jié)果，就可以了。
用戶不關(guān)心召回率，即用戶不關(guān)心我們從全網(wǎng)10W的天氣網(wǎng)站里，給他召回了9W 還是 9.9W的結(jié)果。弱水三千，一瓢足已。
進(jìn)一步，當(dāng)用戶搜索意圖特別明確的時(shí)候，我們甚至可以不需要讓用戶點(diǎn)擊鏈接，而是直接將結(jié)果前置到搜索結(jié)果頁(yè)面上就可以了，這就是百度搜索阿拉丁卡片的意義。
從提升用戶滿意度這個(gè)角度出發(fā)，還會(huì)有更多可以思考的問(wèn)題。
比如，用戶搜索“iPhone”的時(shí)候，意圖是相對(duì)不明確的。
他究竟是想要購(gòu)買iPhone，查看iPhone相關(guān)的評(píng)測(cè)文章，還是訪問(wèn)蘋(píng)果官網(wǎng)呢？
在這種情況下，我們只能根據(jù)統(tǒng)計(jì)的角度，按照大多數(shù)人的偏好進(jìn)行結(jié)果的排序
再進(jìn)一步呢？
就是產(chǎn)品經(jīng)理要發(fā)力的場(chǎng)景了，如何通過(guò)交互來(lái)細(xì)化用戶的意圖。
這也是今天我們看到相關(guān)搜索會(huì)被插入到搜索結(jié)果里的愿意，讓用戶能夠更快的通過(guò)相關(guān)搜索的建議，細(xì)化自己的意圖，從而給機(jī)器更多有效的輸入。
如何理解指標(biāo)
指標(biāo)是重要的，指標(biāo)能夠讓不同的團(tuán)隊(duì)圍繞業(yè)務(wù)達(dá)成一致性的評(píng)價(jià)指標(biāo)；
指標(biāo)不是唯一，物理世界是立體而豐富的，指標(biāo)是我們對(duì)于物理世界的降維、數(shù)據(jù)化擬合，過(guò)程中也一定損失了一些信息。
比如，在準(zhǔn)確率 和 召回率的角度，我們有如下預(yù)設(shè)
- 召回越多越好
- 所有結(jié)果是同等重要的。
但事實(shí)上，很多搜索結(jié)果是高度同質(zhì)化，可以被相互替代的；在不同結(jié)果中，相對(duì)越權(quán)威的網(wǎng)站，其提供的結(jié)果權(quán)重相對(duì)越高。
所以，對(duì)于策略產(chǎn)品經(jīng)理而言。當(dāng)然可以追指標(biāo)，但是在追指標(biāo)之余，還需要站在時(shí)間的維度，階段性的反思、重構(gòu)場(chǎng)景：
想想在當(dāng)下的場(chǎng)景下，用戶的需求有什么特別之處？是否需要新的策略來(lái)滿足？是否需要新的指標(biāo)來(lái)衡量？才能夠帶來(lái)更多的可能性。
