FM的論文可以參考 Factorization Machines
相對于直接做組合的二階特征，F(xiàn)M在二階交叉特征構(gòu)造時，減少參數(shù)空間的大小，同時還能大大降低計算復(fù)雜度。
直接構(gòu)造二階特征時，其參數(shù)量為C(n,2)=n*(n-1)/2，因?yàn)闆]有項(xiàng)可以合并，所以時間復(fù)雜度同空間復(fù)雜度相同。在n量級很大的時候，其計算和存儲都非常困難。（當(dāng)然，實(shí)際對于大規(guī)模稀疏特征訓(xùn)練的實(shí)現(xiàn)中，其真實(shí)的參數(shù)量和計算復(fù)雜度經(jīng)過工程優(yōu)化，在某些場景下，也可能也可以遠(yuǎn)低于此。但是在數(shù)據(jù)充分，量級非常大的情況下，會逐漸接近其其理論復(fù)雜度，必會帶來較大的性能問題）

反觀FM，其思路其實(shí)也很簡單：每個特征，都用一個k維的latent vector來表示其對應(yīng)的二階項(xiàng)的參數(shù)空間。
相較于直接組合的參數(shù)空間為n-1維，k維的latent vector相當(dāng)于對原參數(shù)矩陣（nxn，實(shí)對稱矩陣）做了個低秩的表達(dá)（rank=k）。從直覺上理解的話，在實(shí)際生活中，大部分特征可能都有很多相關(guān)性，所以在原特征組合的參數(shù)矩陣中，可能也有很多的線性相關(guān)在里面，所以作出低秩假設(shè)也在直覺上成立。
經(jīng)過low-rank假設(shè)后，其參數(shù)空間為kn，計算復(fù)雜度也可以優(yōu)化到kn
計算過程的化簡如下：

image.png