? ? ? ? 在機(jī)器學(xué)習(xí)中，訓(xùn)練集的樣本數(shù)量用m表示，輸入變量也稱特征變量用x表示，輸出變量也稱目標(biāo)變量用y表示。對于整個(gè)房價(jià)模型可用下列圖片中的抽象構(gòu)建來表示:

? ? ?

房價(jià)模型

? ? ? ? h是假設(shè)函數(shù)，完成從x(房屋大小)到y(tǒng)(房屋價(jià)格)的映射，形如h(x)=θ0+θ1*x1的假設(shè)函數(shù)稱為單變量線性回歸，因?yàn)樽兞恐兄挥幸粋€(gè)特征。

? ? ? ? 代價(jià)函數(shù)又稱損失函數(shù)，用于刻畫目標(biāo)預(yù)測值和實(shí)際值之間的擬合度，往往用均方誤差的方法來度量，將代價(jià)函數(shù)縮至最小，就能使擬合度達(dá)到最高。線性回歸常用計(jì)算代價(jià)函數(shù)的方法是最小二乘法。

? ? ? ? 梯度下降法用來計(jì)算損失函數(shù)的最小值，為了獲得合適的參數(shù)θ0和θ1的值，需要對兩者進(jìn)行同步更新迭代進(jìn)行求解。梯度下降法的關(guān)鍵在于同步和步長因子α值的調(diào)節(jié)。

? ? ? α太小學(xué)習(xí)速率太慢，α太大會造成發(fā)散和無法收斂，故應(yīng)采用合適的α值。對于導(dǎo)數(shù)項(xiàng)會隨著接近函數(shù)局部最優(yōu)值而自動逐漸變小，降低下降的速率，提升最優(yōu)值的迭代精度。

? ? ? 由以上算法組成了線性回歸算法，梯度下降算法不是唯一的解決線性回歸問題的方法，正規(guī)方程組的方法也可以解決線性回歸，并且有更好的泛化能力。