昨天的第二章后半部分涉及到了較多的概率論知識(shí)，需要補(bǔ)課
基本形式
線性模型是什么，簡(jiǎn)單來說和我們學(xué)過的線性函數(shù)是一樣的，我們學(xué)過的線性函數(shù)形式一般為:y = ax + b,在這里a，b代表系數(shù)，也就是我們模型要學(xué)習(xí)的東西，代表的是屬性，也就是我們的特征，用西瓜書中的一個(gè)例子講解就是如下圖：
其中0.2,0.5,0.3還有1 都是屬于線性模型通過訓(xùn)練數(shù)據(jù)學(xué)到的系數(shù)，而其中的色澤，根蒂，敲聲屬于一個(gè)樣本的各個(gè)特征，我們?cè)诒菊轮邢葟幕貧w講起，然后討論二分類再討論多分類問題。
線性回歸問題
首先我們考慮最簡(jiǎn)單的問題，也就是只有一個(gè)屬性的情況，我們?cè)趯W(xué)習(xí)的時(shí)候會(huì)發(fā)現(xiàn)，有時(shí)候?qū)傩詫儆诜菙?shù)值型，就是說這是我們模型是不認(rèn)識(shí)的，比如一個(gè)特征叫做“身高”有三個(gè)選項(xiàng)：“高，低，中”，模型是不認(rèn)識(shí)這些漢字的，我們應(yīng)該把他們轉(zhuǎn)換成數(shù)字，轉(zhuǎn)換過程中涉及到一個(gè)問題，就是數(shù)據(jù)是否是有大小概念的，比如“高”你應(yīng)該轉(zhuǎn)換成1.0那“中”就不能大于1.0的，如果沒有大小概念，只有種類概念，那可以直接轉(zhuǎn)換成one-hot數(shù)據(jù)類型，至于轉(zhuǎn)換方法可以使用pandas中的方法，也可以使用sklearn庫中的方法。
我們?cè)趺磥砬蠼庾顑?yōu)解w,b呢？這時(shí)候需要用到均方誤差了，也就是我們常說的”歐式距離“，我們可以通過讓均方誤差最小化來求解需要的w,b
接下來讓上述式子分別對(duì)w,b進(jìn)行求導(dǎo)，然后求導(dǎo)式子為0來解的w,b
當(dāng)我們的問題中存在的不止一個(gè)特征，我們稱之為多元線性回歸，形式與上述過程類似。
我把w,b吸入向量模式表示，然后把數(shù)據(jù)集D表示為一個(gè)m*(d+1)的大小矩陣，前d行對(duì)應(yīng)d個(gè)屬性，最后一行元素置為1
關(guān)于多元回歸證明過程有機(jī)會(huì)再給出。
下面說一下線性模型的變種，有時(shí)候我們的y和x之間不是線性變化，比如說y是跟隨x呈現(xiàn)指數(shù)變化，這就導(dǎo)致了一個(gè)問題，y=wx+b不能再表示他們之間的關(guān)系，那么這時(shí)候應(yīng)該通過一個(gè)“聯(lián)系函數(shù)”，如上面我們舉出來的例子，如果y和wx+b之間不再是線性而是指數(shù)變換，這是我們可以對(duì)y進(jìn)行取對(duì)數(shù)操作
這個(gè)取對(duì)的操作就相當(dāng)于在原先的等式之間又加上了一個(gè)函數(shù)，這個(gè)函數(shù)我們就叫作聯(lián)系函數(shù)，而我們把上面的式子叫做對(duì)數(shù)線性回歸。
我們?cè)倩匚兑幌聻槭裁催@么做呢？因?yàn)閥和x之間不再具有某種線性關(guān)系，取而代之的是一種指數(shù)關(guān)系，那我們?cè)趺磳⑦@種指數(shù)關(guān)系表示出來呢？將y進(jìn)行取對(duì)操作，這樣lny又一次和w*x+b呈現(xiàn)一種線性關(guān)系，這已經(jīng)實(shí)際上是一種空間映射。
對(duì)數(shù)幾率回歸(logistic regression)
這里的對(duì)數(shù)幾率回歸是我們經(jīng)常見到的一種算法：logistic回歸，雖然它叫做回歸算法但是，實(shí)際上它是一種分類算法。
上一節(jié)說的是如何使用線性模型進(jìn)行回歸學(xué)習(xí)，但是如何利用線性模型進(jìn)行分類算法呢？這時(shí)候就需要我們的聯(lián)系函數(shù)，只要能找到一個(gè)函數(shù)可以將預(yù)測(cè)值與真實(shí)標(biāo)簽聯(lián)系起來就可以。
考慮二分類任務(wù)，其輸出標(biāo)記y是[0，1]之中的一個(gè)，但是線性模型w*x+b預(yù)測(cè)出來是一個(gè)實(shí)際的值，我們應(yīng)該把值轉(zhuǎn)換成0/1
這時(shí)候西瓜書給出一個(gè)函數(shù)叫做“對(duì)數(shù)幾率函數(shù)”函數(shù)，他的圖像長(zhǎng)這個(gè)樣子
對(duì)數(shù)幾率函數(shù)與對(duì)數(shù)函數(shù)是不同的，它是一種"Sigmod"函數(shù)，也就是一種S函數(shù)，幾率是什么意思呢？假設(shè)為正例的概率是y那么y/1-y就表示幾率。
我們要時(shí)刻記住這個(gè)函數(shù)為什么出現(xiàn)在這里，他是為了將我們的輸出轉(zhuǎn)換成類別的函數(shù)，這個(gè)對(duì)數(shù)幾率函數(shù)將作為我們的聯(lián)系函數(shù)
我們將上一節(jié)講的線性函數(shù)代入到對(duì)數(shù)幾率函數(shù)中得到如下所示
進(jìn)行變換之后我們將含w以及b的放在等式的一邊，其余的放在另一邊，如下圖所示
由此可以看出，我們是在用線性回歸模型的預(yù)測(cè)結(jié)果去逼近真實(shí)標(biāo)記的對(duì)數(shù)幾率，其中對(duì)數(shù)幾率表示的是x做為正例的可能性
