一.線性回歸
線性回歸是萬(wàn)物之源,其基本思想貫穿了很多算法的推導(dǎo)中。
線性回歸的模型是:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??(1)
其中,表示誤差。根據(jù)中心極限定理,誤差服從正態(tài)分布,其概率分布為:
http://www.itdecent.cn/p/6c9af5a1386b
用梯度下降法,更新的函數(shù)為:

參考博客:
http://www.itdecent.cn/p/6c9af5a1386b
二.FM
https://blog.csdn.net/u013749251/article/details/80906213
1.當(dāng)x為0時(shí),偏倒數(shù)為0,梯度無(wú)法更新,即無(wú)法求出參數(shù)值。
2.若P為滿秩矩陣,則P可分解為 P=AB的形式。(線性代數(shù))
http://www.itdecent.cn/p/152ae633fb00
三FM模型代碼
http://www.itdecent.cn/p/556997127319"