上限分析通常能提供一種很有價值的信號或者說很有用的導向告訴你流水線中的哪個部分最值得你花時間。 舉例:數(shù)值評價量度,字符準確度,圖像中的文字識別正確的比例 上限分析的主要思想...
人工數(shù)據(jù)合成的概念通常包含兩種不同的變體:第一種是白手起家創(chuàng)造新的數(shù)據(jù);第二種是已經(jīng)有了一小部分帶標簽的訓練集,然后擴充為一個大的訓練集 字符識別的更大的訓練集: 現(xiàn)代計算機...
照片OCR流水線中的組件:滑動窗(sliding windows)的分類器 滑動窗的步驟: 以文字檢測為例,文字識別是計算機視覺中的一個非同尋常的問題。取決于你想要找到的文字...
照片OCR技術(shù)中的應用歷史涉及3個部分: 1. 一個復雜的機器學習系統(tǒng)是如何被組合起來的 2.機器學習流水線(machine learning pipeline)的有關(guān)概念以...
大規(guī)模機器學習的方法稱為映射約減 (map reduce) 方法,相比于隨機梯度下降方法,映射化簡方法能夠處理更大規(guī)模的問題。 映射化簡的基本思想:將訓練集劃分成幾個不同的子...
確保算法能收斂以及選擇合適的學習速率α。 對于隨機梯度下降算法,為了檢查算法是否收斂,沿用之前定義的cost函數(shù)。在算法掃描到樣本(x(i),y(i)) 但在更新參數(shù)θ之前,...
小批量梯度下降有時候甚至比隨機梯度下降還要快一點,每次迭代使用b個樣本,b是一個叫做"小批量規(guī)模"的參數(shù)。b的一個標準的取值可能是2到100之間的任何一個數(shù),常用的數(shù)字是10...
隨機梯度下降的思想也可以應用于線性回歸、邏輯回歸、神經(jīng)網(wǎng)絡(luò)或者其他依靠梯度下降來進行訓練的算法中。 梯度下降法的問題是當m值很大時,計算這個微分項的計算量就變得很大,因為需要...
訓練大的數(shù)據(jù)集存在計算量的問題。假設(shè)要訓練一個線性回歸模型或者是邏輯回歸模型,當m是一個億的時候, 用求一億個項目總和的計算量來計算僅僅一步的梯度下降,這顯然效率不高。 在我...
舉例:有一個用戶沒有給任何電影評分,影響 θ(5) 值的唯一一項是λ/2[(θ(5)_1)^2+(θ(5)_2)^2]。即要選一個向量 θ(5)使得最后的正則化項盡可能地小。...
建立預測評分矩陣,(i, j)位置數(shù)據(jù)對應的評分是我們對用戶j 對電影 i 的評分的預測值,準確說來其值等于θ(j)轉(zhuǎn)置乘x(i)。 定義矩陣 X:x(1)轉(zhuǎn)置,x(2)轉(zhuǎn)置...
相較于θ和x的迭代計算,存在一個更有效率的算法:將這兩個優(yōu)化目標函數(shù)給合為一個定義成新的優(yōu)化目標函數(shù) J,它依然是一個代價函數(shù),是特征 x和參數(shù) θ的函數(shù)。這種算法不再需要不...
協(xié)同過濾(collaborative filtering):能實現(xiàn)對特征的學習,即這種算法能夠自行學習所要使用的特征。 示例假設(shè):假設(shè)采訪的每一位用戶告訴我們他們是否喜歡愛情...
一種構(gòu)造推薦系統(tǒng)的方法 :“基于內(nèi)容的推薦” 舉例:每一部電影都用一些特征來描述,假設(shè)每部電影有兩種特征,分別用x1和x2代表,x1表示這部電影,屬于愛情電影的程度;x2表示...
推薦系統(tǒng)兩方面的動機: 1.科技類公司正試圖建立更好的推薦系統(tǒng),試圖向用戶推薦新產(chǎn)品。 2.對一些問題而言,存在一些算法能試圖自動地替你學習到一組優(yōu)良的特征量。 推薦系統(tǒng)舉例...
參數(shù)擬合問題:標準公式是μ 等于你的訓練樣本的平均值;Σ 實際上就是我們在使用 PCA時的式子 多元高斯模型和單元高斯模型之間的關(guān)系是單元高斯模型對應于一種多元高斯分布(多元...
不要把 p(x1) p(x2) 分開建模,而要建立一個p(x) 整體的模型,就是一次性建立 p(x) 的模型。 改良版的異常檢測算法:多元高斯分布或者多元正態(tài)分布 多元高斯分...
如果數(shù)據(jù)的分布不同于高斯分布,則需要對數(shù)據(jù)進行一些不同的轉(zhuǎn)換來確保這些數(shù)據(jù)看起來更像高斯分布。雖然通常來說不這么做算法也會運行地很好,但如果使用一些轉(zhuǎn)換方法,這會使你的數(shù)據(jù)更...
1. 異常檢測:如果你有很少的正樣本,但有大量的負樣本,在對 p(x) 進行估計并且擬合那些高斯參數(shù)的過程中只需要負樣本,依然可以很好地擬合 p(x)。 監(jiān)督學習:監(jiān)督學習一...