——構(gòu)建更具包容性的搜索方式

每天有數(shù)千萬(wàn)人在Pinterest上搜索想法，無(wú)論是晚上做晚餐還是周末嘗試新發(fā)型。 根據(jù)Pinterest的研究，70％的人使用Pinterest來(lái)發(fā)現(xiàn)并保存他們想要嘗試的日常外觀(guān)和風(fēng)格。 在保存了超過(guò)80億美容美發(fā)的創(chuàng)意之后，我們一直在測(cè)試一項(xiàng)新功能，以幫助Pinners更輕松地在搜索中找到相關(guān)的美容理念。 今天開(kāi)始推出的測(cè)試版，可以讓您通過(guò)膚色范圍預(yù)測(cè)美容效果。 在本文中，我們將介紹我們?nèi)绾螛?gòu)建和實(shí)施更具包容性的搜索體驗(yàn)。

每月有超過(guò)2億人使用Pinterest。 我們的產(chǎn)品反映了全球各地人們的興趣和品味，有超過(guò)1000億個(gè)想法（ideas）可供探索。 但是，找到最相關(guān)的結(jié)果并不容易。 Pinterest上的大部分查詢(xún)都少于三個(gè)字，這是一個(gè)有趣的服務(wù)挑戰(zhàn)。 此外，我們目前的排名算法很大程度上受到大多數(shù)人隨著時(shí)間的推移而產(chǎn)生的影響。 這意味著一些Pinners必須更加努力地找到他們想要的東西。

任何搜索工程師都知道如何讓體驗(yàn)無(wú)縫且易于使用，讓用戶(hù)盡可能少地重新查詢(xún)。 我們從Pinners那里聽(tīng)說(shuō)，在尋找發(fā)型和美容想法時(shí)，他們不可能總是找到他們想要的東西，所以我們想要從膚色范圍開(kāi)始解決這個(gè)問(wèn)題。 膚色范圍實(shí)驗(yàn)可讓您通過(guò)膚色范圍自定義您的搜索結(jié)果。 我們從四個(gè)調(diào)色板開(kāi)始，每個(gè)代表一系列膚色。 隨著我們的技術(shù)不斷改進(jìn)，我們從Pinners收集更多反饋，我們計(jì)劃將范圍擴(kuò)大至更多膚色。

深度學(xué)習(xí)

檢測(cè)圖像中的膚色是一個(gè)具有挑戰(zhàn)性的問(wèn)題，因?yàn)樗艽蟪潭壬先Q于照明，陰影，臉部有多突出，模糊以及其他因素。 根據(jù)科學(xué)膚色調(diào)色板，在Pin圖像中檢測(cè)膚色的最準(zhǔn)確方法是在每個(gè)Pin圖像上貼上人的標(biāo)簽。 但擁有數(shù)十億獨(dú)特的圖像，每天都創(chuàng)造出更多，這是一種昂貴的方法，難以擴(kuò)展。

相反，我們使用規(guī)?；ぷ鞯姆椒?- 機(jī)器學(xué)習(xí)。 這并不總是完美的，但Pinners的反饋迄今為止一直令人鼓舞。

為了快速解決這個(gè)問(wèn)題，我們使用了ModiFace的一個(gè)第三方面部AI(Face AI)庫(kù)，該公司專(zhuān)門(mén)從事美容應(yīng)用的增強(qiáng)現(xiàn)實(shí)和機(jī)器學(xué)習(xí)。 在深度神經(jīng)網(wǎng)絡(luò)的幫助下，ModiFace為膚色檢測(cè)產(chǎn)生了連續(xù)的算法。 為了改進(jìn)這種算法，我們經(jīng)歷了幾次迭代，尤其是對(duì)于光線(xiàn)不足和突出陰影的圖像。 例如，在初始模型中，下面的圖像被檢測(cè)為深色膚色，因?yàn)閳D像中的光照和陰影對(duì)于機(jī)器學(xué)習(xí)算法難以獲取。

來(lái)源: https://www.pinterest.com/pin/56083957844390660/

我們嘗試生成更多訓(xùn)練數(shù)據(jù)以糾正機(jī)器學(xué)習(xí)算法的一種方法是獲取結(jié)果并通過(guò)我們的人體評(píng)估平臺(tái)Sofia。

還有一些其他因素需要考慮。 例如，并非每個(gè)Pin都包含一張臉，所以我們會(huì)根據(jù)Pin的類(lèi)別進(jìn)行一些初步過(guò)濾。 我們通過(guò)在多個(gè)工作節(jié)點(diǎn)上運(yùn)行Spark job來(lái)分發(fā)回填過(guò)程，同時(shí)小心不要一次向Amazon S3發(fā)送過(guò)多的流量。 為了確?；靥钸\(yùn)行速度相對(duì)較快，我們使用較小的圖像大小來(lái)加速膚色檢測(cè)算法，即使算法本身通常與大小無(wú)關(guān)。 速度和準(zhǔn)確性之間有明確的折衷，我們將繼續(xù)改進(jìn)。

隨著新Pins添加到系統(tǒng)中，我們逐漸在這些新Pins上運(yùn)行膚色檢測(cè)算法，因此我們將繼續(xù)增加對(duì)膚色數(shù)據(jù)的覆蓋范圍并改進(jìn)結(jié)果。

當(dāng)我們?cè)诿總€(gè)圖像上運(yùn)行膚色檢測(cè)算法時(shí)，我們將RGB顏色輸出轉(zhuǎn)換為L(zhǎng)ab色彩空間 （Lab color space）。 該色彩空間具有用于“亮度”的軸線(xiàn)L和用于色彩分量綠色 - 紅色，藍(lán)色 - 黃色的兩個(gè)軸線(xiàn)a和b。 膚色通常落入ab顏色平面的特定子空間，我們使用L坐標(biāo)來(lái)選擇不同的膚色，從較淺的膚色（high L）到較暗的膚色（lower L）。 由于Pinterest上的許多圖像都是具有良好照明的高質(zhì)量照片，因此我們使用具有2度可視角度和D65光源（日光）的CIE-L * ab空間。

一個(gè)簡(jiǎn)便的Pin 解釋Lab色彩空間！

提供膚色范圍

我們用之前為配方過(guò)濾器（recipe filters）所做的工作來(lái)利用我們的大部分服務(wù)和日志記錄邏輯實(shí)現(xiàn)膚色范圍，從而讓Pinners搜索符合其口味偏好的方案。

膚色的初始版本根據(jù)膚色暗度或亮度使用四個(gè)范圍過(guò)濾內(nèi)容，每個(gè)范圍都有一定量的重疊。 在前端，將膚色范圍對(duì)用戶(hù)顯示為象限，以便清楚每個(gè)調(diào)色板實(shí)際上包含一系列膚色。 為了確保Pinners的良好體驗(yàn)，目前僅針對(duì)常見(jiàn)頭發(fā)和美容查詢(xún)的預(yù)定列表顯示膚色范圍。

查詢(xún)重寫(xiě)

Pinterest不僅僅是尋找鼓舞人心的圖像（一般是運(yùn)動(dòng)型頭發(fā)和美容創(chuàng)意的人的圖像）。 Pinners希望找到可操作的內(nèi)容，比如美容產(chǎn)品和教程（我們對(duì)鏡頭結(jié)果 Lens results采取類(lèi)似的方法）。 為了使我們的結(jié)果更具可操作性，我們使用查詢(xún)重寫(xiě)和理解框架將不同類(lèi)型的Pins與適當(dāng)?shù)哪w色混合到結(jié)果中。

我們還會(huì)重寫(xiě)查詢(xún)以確保每個(gè)特定膚色范圍都有更具吸引力的結(jié)果。 如果用戶(hù)搜索“化妝”并選擇較暗的膚色范圍，那告訴我們他們正在尋找深膚色的化妝想法，并且使我們能夠改進(jìn)我們的搜索排名邏輯以更好地滿(mǎn)足他們的期望。

隱私問(wèn)題

Pinners知道我們尊重他們的隱私是很重要的。 這就是為什么如果你點(diǎn)擊膚色范圍，我們不會(huì)存儲(chǔ)這些信息或者用它來(lái)為你建立一個(gè)配置文件。 這意味著您每次搜索時(shí)都需要點(diǎn)擊膚色范圍。 我們也不會(huì)使用這些信息來(lái)定位廣告。 我們不試圖預(yù)測(cè)用戶(hù)的個(gè)人信息，例如種族。

未來(lái)的工作

一旦這個(gè)beta測(cè)試推廣到所有Pinners，我們未來(lái)的工作通常將重點(diǎn)放在提高結(jié)果的準(zhǔn)確性并將體驗(yàn)帶入更多平臺(tái)。 我們將嘗試新的查詢(xún)重寫(xiě)和混合可操作內(nèi)容的方法，并希望改進(jìn)我們的搜索排名模型，以便更好地考慮所選膚色。 為了使新的膚色檢測(cè)算法更容易實(shí)驗(yàn)，我們必須做一些后端改進(jìn)，以便我們能夠給多個(gè)檢測(cè)到的膚色建立索引并更輕松地運(yùn)行A / B實(shí)驗(yàn)。

最后，膚色只是構(gòu)建更具包容性的搜索的開(kāi)始。 我們希望通過(guò)提供更多縮小搜索范圍的方法來(lái)幫助Pinners找到更多個(gè)性化的結(jié)果。

我們一直致力于改進(jìn)我們的系統(tǒng)，為Pinners提供更加個(gè)性化的搜索體驗(yàn)。 如果您喜歡這樣的搜索問(wèn)題，請(qǐng)加入我們的團(tuán)隊(duì)！

作者：Laksh Bhasin
本文為個(gè)人學(xué)習(xí)及研究之目的自行翻譯發(fā)布，如發(fā)現(xiàn)侵犯版權(quán)，請(qǐng)與我聯(lián)系處理。