第3章 線性模型
線性模型的目的是通過學(xué)習(xí)得到一個屬性線性組合的預(yù)測函數(shù)，基本形式為：f(x) = w1x1 + w2x2 + ... + wnxn + b
機(jī)器學(xué)習(xí)中一般用向量形式表示，即：f(x) = wTx + b，通過學(xué)習(xí)得到w和b，模型即得以確定。
那么什么樣的w和b是我們想要的呢？也就是我們想通過學(xué)習(xí)得到怎樣的w和b呢？
假設(shè)yi是第i個樣本的真實結(jié)果，f(xi) = wxi + b是計算得到的預(yù)測結(jié)果，顯然，使得f(xi)最接近yi的w和b就是我們想要的，對于總體樣本來說，使得n個樣本的總體預(yù)測結(jié)果最接近總體真實結(jié)果的w和b，自然就是我們想要學(xué)習(xí)得到的最終結(jié)果。
如何衡量f(x)和y之間的差別？利用在第1、2章學(xué)習(xí)的性能度量即可。對于回歸任務(wù)來說，均方誤差（平方損失）是最常用的性能度量，總結(jié)為公式即是：
求解w和b是E(w,b) = (w,b)最小化的過程，稱為線性回歸模型的最小二乘“參數(shù)似然”。對于凸函數(shù)來說，當(dāng)公式關(guān)于w和b的導(dǎo)數(shù)為0時，可以得到最優(yōu)解，因此將E(w,b)分別對w和b求導(dǎo)可得：
令導(dǎo)數(shù)為0，可得
對于現(xiàn)實情況來說，可能存在屬性比樣例還多，導(dǎo)致可能到多個解，都能使均方誤差最小，常見的優(yōu)化方法是引入正則化項，通過剔除或者其他辦法降低影響。
為了方便和直觀，我們可以將模型預(yù)測值逼近y的衍生物，例如可以將y = wTx + b轉(zhuǎn)換為lny = wTx + b，即對數(shù)線性回歸，讓 ewTx + b逼近 y。更一般的，ln可以是任何單調(diào)可微函數(shù)，即公式可表示為：y =g-1( wTx + b)。
對于二分類任務(wù)來說，我們一般使用sigmoid函數(shù)，也即對數(shù)幾率函數(shù)（也就是神經(jīng)網(wǎng)絡(luò)中經(jīng)常使用的邏輯回歸）：
它的圖形為：
在神經(jīng)網(wǎng)絡(luò)中，經(jīng)常用到sigmoid函數(shù)作為激活函數(shù)或解決二分類問題，對于多分類，則較多使用softmax函數(shù)。
線性判別分析LDA的原理是將樣例肉應(yīng)到一條直線上，使同類樣例的投影點盡可能接近，而異類樣例的投影點則盡可能遠(yuǎn)，對于新樣例來說，將它投影到直線上，根據(jù)投影點的位置遠(yuǎn)近即可完成樣例分類，下面是示意圖：
幾年前曾經(jīng)使用LDA對文章進(jìn)行分類，根據(jù)文章的相互聯(lián)系分類為不同的主題，確實簡單高效。
