[林軒田]12-非線(xiàn)性變換

[TOC]

二次方程的hypothesis

對(duì)于非線(xiàn)性的數(shù)據(jù)分類(lèi)，如果我們使用線(xiàn)性模型，就會(huì)使得Ein很大，分得不好。

Paste_Image.png

對(duì)稱(chēng)中心在原點(diǎn)的二次方程

現(xiàn)在我們考慮如何用二次方程（圓的方式）來(lái)進(jìn)行separate: 我們可以使用半徑平方為0.6的圓可以將它分開(kāi) 。

Paste_Image.png

這里我們進(jìn)行非線(xiàn)性的變換，實(shí)現(xiàn)坐標(biāo)系的變換。從x空間變到z空間。在x系里面圓圈可分的情況在z系里面變得線(xiàn)性可分了。在x系里面可以用圓分開(kāi)則在z系里面一定可以線(xiàn)性可分。

但是在z空間里面可以用直線(xiàn)分開(kāi)的情形，在x空間里面就可能是圓、橢圓、雙曲線(xiàn)等情況，所以說(shuō)在z空間里面的直線(xiàn)在x空間里面對(duì)應(yīng)的是特殊二次曲線(xiàn)(圓心在坐標(biāo)原點(diǎn))，三個(gè)參數(shù)。

Paste_Image.png

一般情形的二次式

把所有的二次項(xiàng)、所有的一次項(xiàng)和常數(shù)項(xiàng)都要包含進(jìn)來(lái)，這樣在Z空間里面的直線(xiàn)對(duì)應(yīng)x空間的二次hypothesis
這個(gè)權(quán)值W需要6個(gè)參數(shù)

Paste_Image.png

所以我們?nèi)绻軌蛟趜空間里面找到好的線(xiàn)性分割，就能在x空間里找到好的二次曲線(xiàn)分割。

Paste_Image.png

非線(xiàn)性變換

空間變換

1. 首先把原始在x空間的數(shù)據(jù)變換到z空間的數(shù)據(jù)。
2. 在z空間中得到好的線(xiàn)性感知機(jī)。
3. 在z空間對(duì)得到的模型g進(jìn)行反變換得到x空間應(yīng)該有的二次曲線(xiàn)模型。

而實(shí)際上第三步并不是取逆變換，而是考察一個(gè)點(diǎn)在x空間的分類(lèi)的時(shí)候，把這個(gè)點(diǎn)先轉(zhuǎn)換到z空間，然后看它是哪個(gè)分類(lèi)，我們就知道它在x空間里面應(yīng)該是哪個(gè)分類(lèi)了。

Paste_Image.png

非線(xiàn)性變換的代價(jià)

之前從原始特征用領(lǐng)域知識(shí)變換到具體特征就是這樣。

z空間的維度

從d維度特征的二次x空間轉(zhuǎn)化為一次z空間是多少個(gè)維度。

Paste_Image.png

z空間的計(jì)算和存儲(chǔ)代價(jià)

d維Q次特征空間轉(zhuǎn)化到1次空間時(shí)的特征維度是 $$ C_{Q+d}^u0z1t8os $$

Paste_Image.png

證明：d維Q次特征空間轉(zhuǎn)化到1次空間時(shí)的特征維度是$$ C_{Q+d}^u0z1t8os $$

可以把問(wèn)題轉(zhuǎn)化為求d個(gè)變量組成的Q次多線(xiàn)程里面，各種子項(xiàng)總共有多少個(gè)。轉(zhuǎn)化為相同的問(wèn)題就是：
把k個(gè)相同的物體分給d個(gè)人，不一定每個(gè)人都分到，也不一定分完，問(wèn)有多少種分法？
那么這個(gè)問(wèn)題是比較復(fù)雜的，我們高中的時(shí)候?qū)W的問(wèn)題是下面這個(gè)類(lèi)型的：

問(wèn)題1. 把k個(gè)相同物體分給d個(gè)人，每人最少1個(gè)，要求分完，那么有幾種分法？
設(shè)第i個(gè)人分得$$ x_i $$個(gè)物體，則$$ 0 < x_i < k $$ 用我們熟悉的插板法，在k-1個(gè)間隙里面插入d-1個(gè)板（分成d份），分法有

$$ C_{(k-1)}^{(d-1)} $$

問(wèn)題2. 把k個(gè)相同的物體分給d個(gè)人，不一定每個(gè)人都分到，但物體必須分完，問(wèn)有多少種分法？
設(shè)第i個(gè)人分得$$ x_i $$個(gè)物體，則$$ 0\leqslant x_i \leqslant k $$，我們可以把它轉(zhuǎn)化一下
$$ x_1+x_2+...+x_d = k \rightleftharpoons (x_1+1)+(x_2+1)+(x_3+1)+...+(x_d+1) = k+d $$

$$ 0\leqslant x_i \leqslant k \rightleftharpoons 1 \leqslant x_i+1 \leqslant k+1 $$
可以認(rèn)為把k+d個(gè)物體分給d個(gè)人，使用插板法 結(jié)果為

$$ C_{k+d-1}^{d-1} $$

到這里我們就可以把我們的問(wèn)題轉(zhuǎn)化為這里面相同的問(wèn)題了，不分完可以理解為還有一個(gè)潛在的第k+1個(gè)人，把最后剩下的物體分給它。所以這個(gè)問(wèn)題就轉(zhuǎn)化為 把k個(gè)物體分給d+1個(gè)人，不一定每個(gè)人都分到，但物體必須分完。也轉(zhuǎn)化為把k+d+1個(gè)物體分給d+1個(gè)人，每人必須分到，物體必須分完，所以結(jié)果為 $$ C_{k+d}^u0z1t8os $$

應(yīng)該選擇怎樣的模型。

Paste_Image.png

Paste_Image.png