多項式回歸

在簡單線性回歸當中，我們的數(shù)據(jù)與數(shù)據(jù)之間是有很大的線性關系。但是現(xiàn)實中很多樣本是不成線性關系的。如何把非線性問題變成線性問題呢？多項式回歸將原有的特征經(jīng)過平方等變?yōu)樾碌奶卣髟黾舆M訓練集內(nèi)。例如y=ax+b 增加新的特征x2變?yōu)?y=ax2+bx+c，圖像就會由線性變?yōu)榉蔷€性

scikit-learn

from sklearn.preprocessing import PolynomialFeatures
poly = PolynomialFeatures(degree=2)#degree是次冪，這里是2次冪
poly.fit(X)
X2 = poly.transform(X)

原來X為

image

轉換后

image

可以看到原來的一列元素變?yōu)榱?列，第一列都為1，第二列為原數(shù)值，第三列為第二列的平方

如果X特診不止一個呢？

當兩個特征的時候

image

轉變后

image

可以看到 第一列都為1，第二列和第三列為原列，第4列為第2列的平方，第6列為第2列的平方，那么第5列是什么呢？第5列其實是第2列和第3列的乘積，也就是源數(shù)據(jù)相乘