機(jī)器學(xué)習(xí)Week 1
前言
最近開始follow機(jī)器學(xué)習(xí)大牛Andrew Ng在Coursesa上的課程，特開此專題以記錄之。
1.機(jī)器學(xué)習(xí)的定義
Tom Mitchell 給出了一個(gè)相對(duì)有趣的定義，他的原話是:
<blockquote>
A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.
</blockquote>
我個(gè)人覺得Tom Mitchell的定義相當(dāng)清晰明了，我就不再贅述。
2.機(jī)器學(xué)習(xí)的分類
機(jī)器學(xué)習(xí)主要可以分為兩類：
- Supervised Learning
- Unsupervised Learning
暫將其翻譯為帶監(jiān)督的學(xué)習(xí)(Supervised Learning)和不帶監(jiān)督的學(xué)習(xí)(Unsupervised Learning)。所謂Supervised Learning即其數(shù)據(jù)集帶有<b>正確答案</b>，Unsupervised Learning與之相反。所謂正確答案，我的理解即為包含了客觀事實(shí)或者人們的常規(guī)理解的結(jié)果。比如每平方米的房?jī)r(jià)和對(duì)圖片美丑的判斷數(shù)據(jù)。
2.1 Supervised Learning
Supervised Learning可大致被分為兩類：
- regression problem,即回歸問題
- classfication problem,即分類問題
回歸問題通常指輸出為連續(xù)型，將問題映射到一個(gè)連續(xù)函數(shù)的問題，比如預(yù)測(cè)房?jī)r(jià)的走勢(shì)；分類問題通常指輸出為離散型，比如判斷一張圖片的美丑。個(gè)人感覺，僅以輸出為連續(xù)型或者離散型來(lái)判斷問題的種類可能會(huì)產(chǎn)生誤解，比如預(yù)測(cè)一件商品在下一季度將會(huì)賣出的個(gè)數(shù)，顯然輸出為離散型，但其并不是分類問題。分類問題的輸出具有互斥性，回歸問題的輸出為同一隨機(jī)變量的可能取值。強(qiáng)行解釋了一波，自以為解釋得并不是很好，其實(shí)對(duì)于是不是分類問題，直觀上是很容易判別的，如果不是分類問題即可歸為回歸問題。
2.2 Unsupervised Learning
Unsupervised Learning可以解決那些我們不知道“正確答案”的問題。Unsupervised Learning同樣可以分為兩類：
- Clustering，聚類問題
- Non-clustering，非聚類問題
諸如，根據(jù)消費(fèi)者的需求將消費(fèi)者分為幾類，即為聚類問題；將混疊的聲音分離出來(lái)即為非聚類問題。
3.Linear Regression with one variable
一元回歸問題可以簡(jiǎn)要描述如下：
給定一組數(shù)據(jù){ x(i):i=1,2,3,...,m },{ y(i):i=1,2,3,...,m },稱x(i)為輸入變量，y(i)為輸出變量或者目標(biāo)變量。( x(i),y(i) )稱為一個(gè)訓(xùn)練樣本，{ (x(i),y(i)):i=1,2,3,...,m }稱為訓(xùn)練集。一元線性回歸的目的即為，得到一個(gè)假設(shè)函數(shù)(hypothesis function)h(x)=θ0+θ1x,使得成本函數(shù)(cost function)J(θ0,θ1)最小。
其中cost function如下:
一元回歸的過程如下：
3.1 Gradient Decent
Gradient Decent即梯度下降法，類似于牛頓迭代法，梯度下降算法如下：
如其名字所示，參數(shù)θ0,θ1沿著梯度下降，將cost function代入可得如下公式：
需要注意的是，θ0,θ1需要同時(shí)更新，即需要先計(jì)算出θ0和θ1，然后同時(shí)更新θ0和θ1。
