0?前言

本次教程分為三部分

• 邏輯回歸在二分類問(wèn)題的應(yīng)用
• 邏輯回歸在大數(shù)據(jù)集多分類問(wèn)題的應(yīng)用
• 練習(xí)題

如想了解邏輯回歸的相關(guān)理論知識(shí)，可以參考：
Logistic Regression（邏輯回歸）原理及公式推導(dǎo)

1?考試成績(jī)預(yù)測(cè)

（本節(jié)介紹如何利用邏輯回歸模型進(jìn)行二分類預(yù)測(cè)）
??關(guān)于課程“中級(jí)宏觀經(jīng)濟(jì)學(xué)”的新教學(xué)方法 PSI 的效果評(píng)價(jià)的數(shù)據(jù)資料如下表。其中，GPA 為修該門課程前的學(xué)分績(jī)點(diǎn)；TUCH 為修該門課程前的摸底測(cè)試成績(jī)；PSI 為 1 表示使用 PSI 方法；LG 為該門課程的考試成績(jī)?nèi)≈禐?1(LG=A) 或 0(LG=B 或 LG=C)。由于成績(jī)只有 0 或 1 兩種取值，因此該問(wèn)題為二分類問(wèn)題。

??使用 sklearn 中的 LogisticRegression 類進(jìn)行模型的構(gòu)建

• 導(dǎo)入宏包

??導(dǎo)入模型構(gòu)建所需要的庫(kù)：

# 導(dǎo)入宏包
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression

#隱藏警告
import warnings
warnings.filterwarnings('ignore')

• 導(dǎo)入數(shù)據(jù)
  ??利用 pandas 庫(kù)中的 pd.read_excel 函數(shù)進(jìn)行數(shù)據(jù)讀?。?/li>

# 導(dǎo)入數(shù)據(jù)
data = pd.read_excel('data.xlsx')
# 劃分?jǐn)?shù)據(jù)集
x_train = data.iloc[:, 1:4]
y_train = data.iloc[:, 4]

• 數(shù)據(jù)可視化
  ??可視化有利于對(duì)數(shù)據(jù)進(jìn)行整體的把握：

# 可視化
plt.figure()
plt.plot(x_train.GPA[(x_train.PSI == 0) & (data.LG == 0)], x_train.TUCH[(x_train.PSI == 0) & (data.LG == 0)], 'bx')
plt.plot(x_train.GPA[(x_train.PSI == 0) & (data.LG == 1)], x_train.TUCH[(x_train.PSI == 0) & (data.LG == 1)], 'ro')
plt.xlabel('GPA')
plt.ylabel('TUSH')
plt.legend(('LG=0', 'LG=1'))
plt.title('PSI=0')
plt.figure()
plt.plot(x_train.GPA[(x_train.PSI == 1) & (data.LG == 0)], x_train.TUCH[(x_train.PSI == 1) & (data.LG == 0)], 'bx')
plt.plot(x_train.GPA[(x_train.PSI == 1) & (data.LG == 1)], x_train.TUCH[(x_train.PSI == 1) & (data.LG == 1)], 'ro')
plt.xlabel('GPA')
plt.ylabel('TUSH')
plt.legend(('LG=0', 'LG=1'))
plt.title('PSI=1')

PSI=0

PSI=1

??該數(shù)據(jù)集樣本數(shù)較少，總體把握不是很明顯，但是還是能看出 GPA 與 TUCH 越大成績(jī)?cè)胶?，且采?PSI 方法下成績(jī)好的更多。

• 構(gòu)建模型

LR = LogisticRegression()
LR.fit(x_train, y_train)
LR.predict([[3.32, 20, 1]])

• 結(jié)果分析

print(LR.score(x_train, y_train))
print(LR.coef_)
print(LR.intercept_)

輸出為：

0.71875
[[ 0.32590462 -0.05076111  1.01457151]]
[-0.9018812]

因此邏輯回歸模型為即其中，為 GPA，為 TUCH，表示是否使用 PSI 方法，是模型給出的該門考試成績(jī)?yōu)?1 的概率。由模型可知，是否使用 PSI 方法，對(duì)成績(jī)的好壞影響極大，驗(yàn)證了 PSI 教學(xué)方法的作用。

2?鳶尾花分類

本節(jié)介紹如何利用邏輯回歸模型進(jìn)行多分類預(yù)測(cè)
??數(shù)據(jù)集為 UCI 公開(kāi)的 Iris 數(shù)據(jù)集，樣本數(shù)為 150 個(gè)，有 4 個(gè)特征，分別是花萼長(zhǎng)度、花萼寬度、花瓣長(zhǎng)度、花瓣寬度，類別標(biāo)簽為 Setosa、Versicolour、Viriginica。

• 導(dǎo)入數(shù)據(jù)

??使用 sklearn 中的 datasets 模塊導(dǎo)入數(shù)據(jù)集：

import pandas as pd
from sklearn import datasets
iris_dataset = datasets.load_iris()

??load_iris 返回的是一個(gè) Bunch 對(duì)象，與字典十分相似，里面包含鍵值對(duì)

• 使用留出法檢驗(yàn)?zāi)Ｐ?/strong>

from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(iris_dataset.data, iris_dataset.target, random_state=0)

#隱藏警告
import warnings
warnings.filterwarnings('ignore')

from sklearn.linear_model import LogisticRegression
LR = LogisticRegression()
LR.fit(x_train, y_train)

y_pred = LR.predict(x_test)
print('Test set prections:\n {}'.format(y_pred))

print('Test set score: {:.3f}'.format(np.mean(y_pred == y_test)))

Test set prections:
 [2 1 0 2 0 2 0 1 1 1 2 1 1 1 1 0 2 1 0 0 2 2 0 0 2 0 0 1 1 0 2 2 0 2 2 2 0 2]
Test set score: 0.868