回歸是一種監(jiān)督學(xué)習(xí)，監(jiān)督學(xué)習(xí)指的是有目標變量或預(yù)測目標的機器學(xué)習(xí)方法。
回歸與分類的不同，就在于其目標變量是連續(xù)數(shù)值型。

用線性回歸找到最佳擬合直線

• y = ax₁ + bx₂ + c類似這種形式的就是回歸方程
• 求回歸系數(shù)的過程就是回歸（如上就是求a、b、c）
• 可以用最小二乘法（OLS）：追求均方差最小

局部加權(quán)線性回歸（LWLR）

• 使用核函數(shù)來對附近的點賦予更高的權(quán)限
• 選取合適的平滑值，擬合出來的就是類似曲線，但要注意由于考慮了太多噪聲會可能過擬合。

image.png

縮減法

• 適用于數(shù)據(jù)的特征比樣本點還多的情況
• 特征點比樣本點多的情況下，會使得矩陣不是滿秩矩陣，無法求逆。

• 嶺回歸是一種縮減方法,公式如下：

  
  
  image.png