KNN參數(shù)說明

weights: 樣本權(quán)重，可選參數(shù)：uniform(等權(quán)重)、distance(權(quán)重和距離成反比，越近影響越強(qiáng))、默認(rèn)uniform。

n_neighbors: 鄰近數(shù)目，默認(rèn)5。

algorithm: 計(jì)算方式，默認(rèn)為auto，可選參數(shù)：auto、ball_tree、kd_tree、brute；推薦kd_tree。

leaf_size: 在使用KD_TREE時(shí)，葉子的數(shù)量，默認(rèn)為30。

metric: 樣本之間的距離度量公式，默認(rèn)minkowski（閔可夫斯基）；參數(shù)p=2時(shí)，歐幾里得距離。

p: 給定的minkowski距離中p值，默認(rèn)為2。

了解KD樹的構(gòu)建過程，了解KD樹的搜索過程即可。

數(shù)據(jù)來源：
《05 分類算法 - Logistic回歸 - 鳶尾花分類》

##### KNN算法實(shí)現(xiàn)
# a. 模型構(gòu)建
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(X_train, Y_train)

# b. 模型效果輸出
## 將正確的數(shù)據(jù)轉(zhuǎn)換為矩陣形式
y_test_hot = label_binarize(Y_test,classes=(1,2,3))
## 得到預(yù)測的損失值
knn_y_score = knn.predict_proba(X_test)
## 計(jì)算roc的值
knn_fpr, knn_tpr, knn_threasholds = metrics.roc_curve(y_test_hot.ravel(),
  knn_y_score.ravel())
## 計(jì)算auc的值
knn_auc = metrics.auc(knn_fpr, knn_tpr)
print ("KNN算法R值：", knn.score(X_train, Y_train))
print ("KNN算法AUC值：", knn_auc)

# c. 模型預(yù)測
knn_y_predict = knn.predict(X_test)
knn_y_score

KNN算法R值： 0.977777777778
KNN算法AUC值： 0.969444444444
array([[ 0. , 0. , 1. ],
[ 0. , 1. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 0. , 1. ],
[ 1. , 0. , 0. ],
[ 0. , 0. , 1. ],
[ 1. , 0. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 0.33333333, 0.66666667],
[ 0. , 1. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 1. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 0.66666667, 0.33333333],
[ 0. , 1. , 0. ],
[ 1. , 0. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 0. , 1. ],
[ 0. , 1. , 0. ],
[ 1. , 0. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 0. , 1. ],
[ 1. , 0. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 1. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 0.33333333, 0.66666667],
[ 0. , 1. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 0. , 1. ],
[ 0. , 0. , 1. ],
[ 0. , 1. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 0. , 1. ],
[ 0. , 1. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 0. , 1. ],
[ 1. , 0. , 0. ],
[ 0. , 0. , 1. ],
[ 1. , 0. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 0.33333333, 0.66666667],
[ 0. , 0. , 1. ],
[ 0. , 1. , 0. ],
[ 0. , 0.33333333, 0.66666667],
[ 0. , 1. , 0. ],
[ 0. , 0. , 1. ],
[ 0. , 0.66666667, 0.33333333],
[ 0. , 1. , 0. ],
[ 0. , 0. , 1. ],
[ 0. , 0.66666667, 0.33333333],
[ 0. , 0.66666667, 0.33333333],
[ 0. , 0.33333333, 0.66666667],
[ 0. , 1. , 0. ],
[ 0. , 0.33333333, 0.66666667]])

畫圖1：ROC曲線畫圖

plt.figure(figsize=(8, 6), facecolor='w')
plt.plot(lr_fpr,lr_tpr,c='r',lw=2,label=u'Logistic算法,AUC=%.3f' % lr_auc)
plt.plot(knn_fpr,knn_tpr,c='g',lw=2,label=u'KNN算法,AUC=%.3f' % knn_auc)
plt.plot((0,1),(0,1),c='#a0a0a0',lw=2,ls='--')
plt.xlim(-0.01, 1.02)#設(shè)置X軸的最大和最小值
plt.ylim(-0.01, 1.02)#設(shè)置y軸的最大和最小值
plt.xticks(np.arange(0, 1.1, 0.1))
plt.yticks(np.arange(0, 1.1, 0.1))
plt.xlabel('False Positive Rate(FPR)', fontsize=16)
plt.ylabel('True Positive Rate(TPR)', fontsize=16)
plt.grid(b=True, ls=':')
plt.legend(loc='lower right', fancybox=True, framealpha=0.8, fontsize=12)
plt.title(u'鳶尾花數(shù)據(jù)Logistic和KNN算法的ROC/AUC', fontsize=18)
plt.show()

畫圖2：預(yù)測結(jié)果畫圖

x_test_len = range(len(X_test))
plt.figure(figsize=(12, 9), facecolor='w')
plt.ylim(0.5,3.5)
plt.plot(x_test_len, Y_test, 'ro',markersize = 6, zorder=3, label=u'真實(shí)值')
plt.plot(x_test_len, lr_y_predict, 'go', markersize = 10, zorder=2, label=u'Logis算法預(yù)測值,$R^2$=%.3f' % lr.score(X_test, Y_test))
plt.plot(x_test_len, knn_y_predict, 'yo', markersize = 16, zorder=1, label=u'KNN算法預(yù)測值,$R^2$=%.3f' % knn.score(X_test, Y_test))
plt.legend(loc = 'lower right')
plt.xlabel(u'數(shù)據(jù)編號(hào)', fontsize=18)
plt.ylabel(u'種類', fontsize=18)
plt.title(u'鳶尾花數(shù)據(jù)分類', fontsize=20)
plt.show()