ctr預(yù)估

ctr中傳統(tǒng)的FM，以神經(jīng)網(wǎng)絡(luò)的角度來(lái)看可以等效為下圖：

FM

對(duì)比FM公式來(lái)看，第一項(xiàng)為圖中最左邊常數(shù)，第二項(xiàng)為每個(gè)field的權(quán)重，第三項(xiàng)為每?jī)蓚€(gè)field的交叉項(xiàng)權(quán)重且該權(quán)重可分解為兩個(gè)k階向量，相當(dāng)于各個(gè)field二階interaction的embedding。但顯然這個(gè)結(jié)構(gòu)與通常意義上的神經(jīng)網(wǎng)絡(luò)還是不一致的，所以作者提出了FNN，使得模型可以像神經(jīng)網(wǎng)絡(luò)一樣反向傳播訓(xùn)練。

FNN

FNN底層是一層多multifield embedding，其權(quán)重由FM預(yù)訓(xùn)練得到的各部分權(quán)重初始化。

細(xì)節(jié)：采用交叉熵作為損失函數(shù)，embedding層加l2正則或dropout，三層hidden選擇diamond型的size進(jìn)行tuning

overfit處理方法比較

總結(jié)：
論文的核心其實(shí)就是embedding的初始化，剩下的部分就是一個(gè)基本的deep模型，通過(guò)成熟的FM分解算法初始化latent權(quán)重，總感覺(jué)有點(diǎn)殺牛用雞刀的感覺(jué)；但從另一個(gè)角度考慮，大部分的神經(jīng)網(wǎng)絡(luò)模型對(duì)向量之間的處理都是采用加法操作，而FM 則是通過(guò)向量之間的乘法來(lái)衡量?jī)烧咧g的關(guān)系，乘法關(guān)系其實(shí)相當(dāng)于邏輯“且”的關(guān)系，但是加法僅相當(dāng)于邏輯中“或”的關(guān)系，顯然“且”比“或”更能嚴(yán)格區(qū)分目標(biāo)變量。