在線性回歸中，我們是尋找一條直線來盡可能的擬合數(shù)據(jù)。但是我們在大部分情況下并不滿足簡單的線性回歸的。如下圖所示的這種特殊的線性回歸的情況，這種特殊的回歸方法被稱為多項式回歸（Polynomial regression）。

有以下數(shù)據(jù)：

import numpy as np
import matplotlib.pyplot as plt
plt.rcParams["figure.figsize"] = (8,6)

x = np.random.uniform(-3, 3, size = 100)
y = 2 * x ** 2 + 3 * x + 3 + np.random.normal(0, 1, size = 100) # 加上一點噪聲

plt.scatter(x, y)
plt.show()

如果用普通的線性回歸的話：

from sklearn.linear_model import LinearRegression

X = x.reshape(-1,1)
lin_reg = LinearRegression()
lin_reg.fit(X, y)
y_pred = lin_reg.predict(X)
plt.scatter(x, y)
plt.scatter(x, y_pred, color = 'r')
plt.show()

可見用線性回歸去擬合明顯不好。為了解決這個問題，可以增加一個X的平方的特征：

X2 = np.hstack([X, X**2])
lin_reg2 = LinearRegression()
lin_reg2.fit(X2, y)
y_pred2 = lin_reg2.predict(X2)
plt.scatter(x, y)
plt.scatter(x, y_pred2, color = 'r')
plt.show()

其實在sklearn中有封裝好的方法（sklearn.preprocessing.PolynomialFeatures），我們不必自己去生成這個特征了：

from sklearn.preprocessing import PolynomialFeatures
poly = PolynomialFeatures(degree=2) # 添加幾次方特征
poly.fit(X)
X2 = poly.transform(X)

# 訓(xùn)練
lin_reg = LinearRegression()
lin_reg.fit(X2, y)
y_pred = lin_reg.predict(X2)
plt.scatter(x, y)
plt.scatter(x, y_pred, color = 'r')
plt.show()

也可以寫到pipeline中調(diào)用，會更方便：

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

poly_reg = Pipeline([
    ("poly", PolynomialFeatures(degree=2)),
    ("std_scaler", StandardScaler()),
    ("lin_reg", LinearRegression())
])

poly_reg.fit(X,y)
y_pred = poly_reg.predict(X)