1、FM背景

在計算廣告和推薦系統(tǒng)中，CTR預估(click-through rate)是非常重要的一個環(huán)節(jié)，判斷一個商品的是否進行推薦需要根據(jù)CTR預估的點擊率來進行。在進行CTR預估時，除了單特征外，往往要對特征進行組合。對于特征組合來說，業(yè)界現(xiàn)在通用的做法主要有兩大類：FM系列與Tree系列。今天，我們就來講講FM算法。

2、one-hot編碼帶來的問題

FM(Factorization Machine)主要是為了解決數(shù)據(jù)稀疏的情況下，特征怎樣組合的問題。已一個廣告分類的問題為例，根據(jù)用戶與廣告位的一些特征，來預測用戶是否會點擊廣告。數(shù)據(jù)如下：(本例來自美團技術(shù)團隊分享的paper)

clicked是分類值，表明用戶有沒有點擊該廣告。1表示點擊，0表示未點擊。而country,day,ad_type則是對應(yīng)的特征。對于這種categorical特征，一般都是進行one-hot編碼處理。

將上面的數(shù)據(jù)進行one-hot編碼以后，就變成了下面這樣：

因為是categorical特征，所以經(jīng)過one-hot編碼以后，不可避免的樣本的數(shù)據(jù)就變得很稀疏。舉個非常簡單的例子，假設(shè)淘寶或者京東上的item為100萬，如果對item這個維度進行one-hot編碼，光這一個維度數(shù)據(jù)的稀疏度就是百萬分之一。由此可見，數(shù)據(jù)的稀疏性，是我們在實際應(yīng)用場景中面臨的一個非常常見的挑戰(zhàn)與問題。

one-hot編碼帶來的另一個問題是特征空間變大。同樣以上面淘寶上的item為例，將item進行one-hot編碼以后，樣本空間有一個categorical變?yōu)榱税偃f維的數(shù)值特征，特征空間一下子暴增一百萬。所以大廠動不動上億維度，就是這么來的。

3、對特征進行組合

普通的線性模型，我們都是將各個特征獨立考慮的，并沒有考慮到特征與特征之間的相互關(guān)系。但實際上，大量的特征之間是有關(guān)聯(lián)的。最簡單的以電商為例，一般女性用戶看化妝品服裝之類的廣告比較多，而男性更青睞各種球類裝備。那很明顯，女性這個特征與化妝品類服裝類商品有很大的關(guān)聯(lián)性，男性這個特征與球類裝備的關(guān)聯(lián)性更為密切。如果我們能將這些有關(guān)聯(lián)的特征找出來，顯然是很有意義的。

一般的線性模型為：