本文主要從數(shù)學(xué)原理的角度探討。從數(shù)學(xué)的角度理解,線性模型的輸入是一組特征向量x,輸出也是一組特征向量。 線性回歸可用于回歸和分類。 我們通過數(shù)據(jù)集D優(yōu)化線性回歸模型的目的是什...
一、牛頓法 在介紹牛頓法之前,先回顧下在數(shù)學(xué)分析中,對于牛頓法的解釋。 在高數(shù)中,牛頓法適中估值方法,用于近似計算,是迭代法的一種。 其精髓在于:對于目標(biāo)方程f(x)=0,首...
為什么要學(xué)習(xí)最優(yōu)化理論? 因為對于ML模型訓(xùn)練,最終都可以歸結(jié)為最優(yōu)化問題,尋找最優(yōu)參數(shù),是模型的loss最小。 在ML中,最優(yōu)化分為 無約束的最優(yōu)化問題和有約束的最優(yōu)化問題...
馬爾科夫網(wǎng)絡(luò)描述的是具有馬爾科夫性質(zhì)的隨機變量X的聯(lián)合分布的模型。 1.馬爾科夫性質(zhì) 那么,什么是馬爾科夫性質(zhì)呢?就是一組隨機變量按時間順序排列,第N+1時刻特性與N以前的隨...
一、什么是概率圖模型? 概率圖模型(PGM)是用圖來表示變量概率依賴關(guān)系的理論,表示與模型有關(guān)的變量的聯(lián)合概率分布。 PGM重在對現(xiàn)實世界的描述,核心是條件概率,基本的概率圖...