機器學習中的矩陣
機器學習中矩陣是一個很重要的概念，對我們理解其中變量的相關性和相似性，降維等分析具有很大的作用，其中一些概念和數(shù)學中的矩陣表示有些不同，在這里說明一些，以便加深理解
- 特征
特征在數(shù)學的矩陣中標示的這個向量的特征值和特征向量，但是在機器學習中，我們習慣將多個實例的變量用表格的形式來進行綜合表述，比如：
<table>
<tbody>
<tr>
<td>名稱</td>
<td>高度cm</td>
<td>重量kg</td>
</tr>
<tr>
<td>小紅</td>
<td>168</td>
<td>56</td>
</tr>
<tr>
<td>小名</td>
<td>200</td>
<td>50</td>
</tr>
<tr>
<td>橘子</td>
<td>8</td>
<td>4</td>
</tr>
<tr>
<td>香蕉</td>
<td>10</td>
<td>6</td>
</tr>
<tbody>
</table>
在這個表格中，我們將不同的行表示一個向量，每個列就表示成相應的特征，可以看出，不同類型中特征差異會挺大的，對于相似性分析來說有很重要的意義
數(shù)據(jù)的預處理，均值和歸一化
- 數(shù)據(jù)的歸一化(其實就是將數(shù)據(jù)變成正態(tài)分布，將不是正態(tài)分布的數(shù)據(jù)正態(tài)分布化)
在機器學習和數(shù)據(jù)分析中，我們需要去掉特征的量綱，好對數(shù)據(jù)進行比較分析，比如人和牛的身高/體重的對比，沒有什么可比性，但是將身高/體重的比例進行對比就是發(fā)現(xiàn)不同的身高體重比需要消耗多少能量了
一般我們使用的數(shù)據(jù)歸一化也叫數(shù)據(jù)標準化，其公式如下
X1= (X-M)/S
M為均值，s為標準差
在python中可以使用sklearn來對數(shù)據(jù)進行預處理，均值化為0，方差化為1的正態(tài)分布曲線
from sklearn import preprocessing
import numpy as np
data = np.array([[1,2,3],[0,3,4],[5,2,1]])
X = preprocessing.scale(data)
- ID3算法
ID3算法是用來對決策樹進行規(guī)劃選擇節(jié)點的一種算法，通過選擇不同的節(jié)點來最小化樹的高度，從而進行最小的選擇就能實現(xiàn)分類了
熵值的計算：
H(X) = -∑p*log(p)
I(S1, S2) = -p1log(p1) - p2log(p2)
其中p1=S1/S, p2=S2/S
一個分類下的熵的計算為：
G(分類) = I(該分類標簽) - E(pi(該分類占的權重)*I(分類結果下的標簽))
數(shù)據(jù)劃分
使用sklearn中的cross_validate的train_test_split函數(shù)可以簡單快速的完成數(shù)據(jù)集的劃分
X_train,x_test,Y_train,y_test = train_test_split(data, label, test_size=0.3)
機器學習等高線
等高線是用來，判斷多維圖像的變化快慢程度的一種直觀形式，一般情況下，等高線圖上的高度都是等間隔的，如果一條輪廓線與另一條輪廓線彼此很近，也就是我們可以用很少的橫向距離來增加高度，因此證明這個大山很陡峭;如果一條輪廓線與另一條輪廓線彼此很遠，也就是我們要用很長的橫向距離來增加高度，因此證明這個大山很平穩(wěn)。
機器學習算法的歸類
監(jiān)督學習
回歸算法
采用對誤差的衡量來探索變量之間的區(qū)別和聯(lián)系的一類算法，主要有：最小二乘法（Ordinary Least Square），邏輯回歸（Logistic Regression），逐步式回歸（Stepwise Regression），多元自適應回歸樣條（Multivariate Adaptive Regression Splines）以及本地散點平滑估計（Locally Estimated Scatterplot Smoothing）
線性回歸
- 優(yōu)點
簡單，計算快
- 缺點
不直觀
基于實例的算法
基于實例的算法常常用來對決策問題建立模型，這樣的模型常常先選取一批樣本數(shù)據(jù)，然后根據(jù)某些近似性把新數(shù)據(jù)與樣本數(shù)據(jù)進行比較。通過這種方式來尋找最佳的匹配。因此，基于實例的算法常常也被稱為“贏家通吃”學習或者“基于記憶的學習”。常見的算法包括 k-Nearest Neighbor(KNN), 學習矢量量化（Learning Vector Quantization， LVQ），以及自組織映射算法（Self-Organizing Map ， SOM）
正則化算法
正則化方法是其他算法（通常是回歸算法）的延伸，根據(jù)算法的復雜度對算法進行調整。正則化方法通常對簡單模型予以獎勵而對復雜算法予以懲罰。常見的算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及彈性網絡（Elastic Net）。
決策樹學習
決策樹算法根據(jù)數(shù)據(jù)的屬性采用樹狀結構建立決策模型， 決策樹模型常常用來解決分類和回歸問題。常見的算法包括：分類及回歸樹（Classification And Regression Tree， CART）， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 隨機森林（Random Forest）， 多元自適應回歸樣條（MARS）以及梯度推進機（Gradient Boosting Machine， GBM）
貝葉斯算法
貝葉斯方法算法是基于貝葉斯定理的一類算法，主要用來解決分類和回歸問題。常見算法包括：樸素貝葉斯算法，平均單依賴估計（Averaged One-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）。
基于核的算法
基于核的算法中最著名的莫過于支持向量機（SVM）了。 基于核的算法把輸入數(shù)據(jù)映射到一個高階的向量空間， 在這些高階向量空間里， 有些分類或者回歸問題能夠更容易的解決。 常見的基于核的算法包括：支持向量機（Support Vector Machine， SVM）， 徑向基函數(shù)（Radial Basis Function ，RBF)， 以及線性判別分析（Linear Discriminate Analysis ，LDA)等
聚類算法
聚類，就像回歸一樣，有時候人們描述的是一類問題，有時候描述的是一類算法。聚類算法通常按照中心點或者分層的方式對輸入數(shù)據(jù)進行歸并。所以的聚類算法都試圖找到數(shù)據(jù)的內在結構，以便按照最大的共同點將數(shù)據(jù)進行歸類。常見的聚類算法包括 k-Means算法以及期望最大化算法（Expectation Maximization， EM）。
關聯(lián)規(guī)則學習
關聯(lián)規(guī)則學習通過尋找最能夠解釋數(shù)據(jù)變量之間關系的規(guī)則，來找出大量多元數(shù)據(jù)集中有用的關聯(lián)規(guī)則。常見算法包括 Apriori算法和Eclat算法等。
人工神經網絡
人工神經網絡算法模擬生物神經網絡，是一類模式匹配算法。通常用于解決分類和回歸問題。人工神經網絡是機器學習的一個龐大的分支，有幾百種不同的算法。（其中深度學習就是其中的一類算法，我們會單獨討論），重要的人工神經網絡算法包括：感知器神經網絡（Perceptron Neural Network）, 反向傳遞（Back Propagation）， Hopfield網絡，自組織映射（Self-Organizing Map, SOM）。學習矢量量化（Learning Vector Quantization， LVQ）
過擬合問題的解決
對于過擬合問題的解決，可以通過下面幾種方式來實現(xiàn)：
1. 減少特征變量
2. 使用正則化方式
* 正則化就是對我們的代價函數(shù)加上一個λ∑j的系數(shù)懲罰，比較加入太多的特征或者是系數(shù)太大而導致的過擬合
