1、K-NN算法：
算法基本流程：
對未知類別屬性的數(shù)據(jù)集中的每個點依次執(zhí)行以下操作:
(1) 計算已知類別數(shù)據(jù)集中的點與當(dāng)前點之間的距離;
(2) 按照距離遞增次序排序;
(3) 選取與當(dāng)前點距離最小的k個點;
(4) 確定前k個點所在類別的出現(xiàn)頻率;
(5) 返回前k個點出現(xiàn)頻率最高的類別作為當(dāng)前點的預(yù)測分類。
K-NN算法理解起來不難，重點在于一些numpy所帶函數(shù)的熟練使用。
有遇到不理解的可以看下面第二部分，一些小問題的深入。
代碼如下：
test_knn.py
#!/usr/bin/python
#-*-coding:utf-8-*-
from numpy import *
import operator
sample=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
lables=['A','A','B','B']
def classify0(inputvector,dataset,labels,k)
#shape[0]返回矩陣第一維度的長度
setsize=dataset.shape[0]
#按行復(fù)制，將輸入向量擴展到和dataset一樣的行數(shù)，再減去dataset
diffmat=tile(inputvector,(setsize,1))-dataset
sq_diffmat=diffmat**2
#按行相加求和
sq_dist=sq_diffmat.sum(axis=1)
distances=sq_dist**0.5
#以上就是求輸入向量和各訓(xùn)練樣本向量的歐式距離
#argsort()排序后，返回下標(biāo)向量
dis_sort_indicies=distances.argsort()
#初始化一個字典，也就是c++的map
class_count={}
for i in range(k):
#通過循環(huán)，依次找出前k距離的下標(biāo)（第幾行樣本，也就是第幾個樣本),映射到labels上，找出對應(yīng)分類label
votedlabel=labels[dist_sort_indicies[i]]
#字典：{'標(biāo)簽'：出現(xiàn)次數(shù)}
class_count{votedlabel}=class_count.get(votedlabel,0)+1
result=sorted(class_count.iteritems(),key=operator.itemgetter(1),reverse=True)
return result[0][0]
print classify0([10,0],sample,label,3)
2、遇到的一些小問題的深入
簡單聊聊shape
>>> from numpy import *
>>> shape([1])
(1,)
>>> shape(1)
()
>>> shape([[1],[2]])
(2, 1)
>>> shape([[1,1],[1,1],[1,1]])
(3, 2)
# mymatrix.shape[0]:也可以作為矩陣的方法調(diào)用，0代表返回矩陣第一維度的長度,二維矩陣第一維也就是行數(shù)。
mymatrix.sum(axis=1)
# 對于一維數(shù)組而言，只有axis=0可以使用（沒必要使用）。
# 二維數(shù)組axis=1表示按行相加 , axis=0表示按列相加，none即無參數(shù)時候代表所有元素相加
argsort()：
# argsort()函數(shù)是將x中的元素從小到大排列，提取其對應(yīng)的index(索引)，然后輸出到y(tǒng)
>>> argsort([1,4,3,9,2])
array([0, 4, 2, 1, 3])
#還有其他例子，后面再補充example
get(key,0)的解釋：
>>>dict1 #空的字典
{}
>>>dict1.get('a') #鍵‘a(chǎn)’在dict1中不存在，返回none
>>> dict1.get('d1','no1') #default參數(shù)給出值'no1'，所以返回'no1'
'no1'
iteritems():
在Python2.x中，items( )用于 返回一個字典的拷貝列表，占額外的內(nèi)存。
iteritems() 用于返回本身字典列表操作后的迭代，不占用額外的內(nèi)存，iteritems方法作用：與items方法相比作用大致相同，只是它的返回值不是列表，而是一個迭代器。
而在python 3.x 里面，iteritems() 和 viewitems() 這兩個方法都已經(jīng)廢除了，而items() 得到的結(jié)果是和 2.x 里面 viewitems() 一致的。在3.x 里 用 items()替換iteritems() ，可以用于 for 來循環(huán)遍歷。
sorted(class_count.iteritems(),key=operator.itemgetter(1),reverse=True)的含義:
先來看sorted()的參數(shù)：
sorted(iterable[, cmp[, key[, reverse]]])
參數(shù)解釋：
（1）iterable指定要排序的list或者iterable，不用多說；
（2）cmp為函數(shù)，指定排序時進行比較的函數(shù)，可以指定一個函數(shù)或者lambda函數(shù)，如：
students為類對象的list，沒個成員有三個域，用sorted進行比較時可以自己定cmp函數(shù)，例如這里要通過比較第三個數(shù)據(jù)成員來排序，代碼可以這樣寫：
students = [('john', 'A', 15), ('jane', 'B', 12), ('dave', 'B', 10)]
sorted(students, key=lambda student : student[2])
（3）key為函數(shù)，指定取待排序元素的哪一項進行排序，函數(shù)用上面的例子來說明，代碼如下：
sorted(students, key=lambda student : student[2])
key指定的lambda函數(shù)功能是去元素student的第三個域（即：student[2]），因此sorted排序時，會以students所有元素的第三個域來進行排序。
有了上面的operator.itemgetter函數(shù)，也可以用該函數(shù)來實現(xiàn)，例如要通過student的第三個域排序，可以這么寫：
sorted(students, key=operator.itemgetter(2))
sorted函數(shù)也可以進行多級排序，例如要根據(jù)第二個域和第三個域進行排序，可以這么寫：
sorted(students, key=operator.itemgetter(1,2))
即先跟句第二個域排序，再根據(jù)第三個域排序。
（4）reverse參數(shù)就不用多說了，是一個bool變量，表示升序還是降序排列，默認(rèn)為false（升序排列），定義為True時將按降序排列。
舉個栗子說一下tile()是怎么復(fù)制的
比如：tile(A,(2,3,4))，將
其中：A=[1,2]
4代表:A->B=[1,2,1,2,1,2,1,2]
3代表:B->C=[[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2]]
2代表:C->D[[[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2]],[[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2],[1,2,1,2,1,2,1,2]]]
>>> from numpy import tile
>>> tile(A,(2,3,4))
array([[[1, 2, 1, 2, 1, 2, 1, 2],
[1, 2, 1, 2, 1, 2, 1, 2],
[1, 2, 1, 2, 1, 2, 1, 2]],
[[1, 2, 1, 2, 1, 2, 1, 2],
[1, 2, 1, 2, 1, 2, 1, 2],
[1, 2, 1, 2, 1, 2, 1, 2]]])
>>>
