一、剪枝 1. 為什么要剪枝 在決策樹生成的時(shí)候,更多考慮的是訓(xùn)練數(shù)據(jù),而不是未知數(shù)據(jù),這會(huì)導(dǎo)致過擬合,使樹過于復(fù)雜,對(duì)于未知的樣本不準(zhǔn)確。 2. 剪枝的依據(jù)——通過極小化決...
一、剪枝 1. 為什么要剪枝 在決策樹生成的時(shí)候,更多考慮的是訓(xùn)練數(shù)據(jù),而不是未知數(shù)據(jù),這會(huì)導(dǎo)致過擬合,使樹過于復(fù)雜,對(duì)于未知的樣本不準(zhǔn)確。 2. 剪枝的依據(jù)——通過極小化決...
決策樹是一種基本的分類與回歸方法。這里主要討論決策樹用于分類。 決策樹模型是描述對(duì)樣本進(jìn)行分類的樹形結(jié)構(gòu)。樹由結(jié)點(diǎn)和有向邊組成: 內(nèi)部結(jié)點(diǎn)表示一個(gè)特征或者屬性。 葉子結(jié)點(diǎn)表示...
一、信息熵 熵 (entropy) 這一詞最初來源于熱力學(xué)。1948年,克勞德·愛爾伍德·香農(nóng)將熱力學(xué)中的熵引入信息論,所以也被稱為香農(nóng)熵 (Shannon entropy)...
一、Logistic regression中sigmod函數(shù)推導(dǎo) sigmod函數(shù)的推導(dǎo) 1.伯努利分布 一個(gè)事件x,其結(jié)果只有兩種:x=1 or 0,比如拋硬幣。when ...
一、貝葉斯公式推導(dǎo) 1.條件概率 設(shè)是任意兩個(gè)事件,已知發(fā)生的條件下,發(fā)生的條件概率為: 2.全概率公式 設(shè)為有限或無限個(gè)事件,他們兩兩互斥,即: 被稱為一個(gè)完備事件群。對(duì)于...
一、詳細(xì)理解誤差(error)與偏差(bias)和方差(variance) 1.偏差與方差 2.error與bias和variance的關(guān)系 總體上說,誤差等于偏差加上方差,...
一、什么是機(jī)器學(xué)習(xí)? 機(jī)器學(xué)習(xí)包括:1.監(jiān)督學(xué)習(xí)(supervised learning) ①回歸:尋找一個(gè)假設(shè)函數(shù),根據(jù)大量的訓(xùn)練集X來預(yù)測目標(biāo)變量Y,若要預(yù)測的目標(biāo)變量是...
SampleApp_ProcessEvent 事件處理函數(shù) 例如: void SampleApp_SendPeriodicMessage( void )(周期性發(fā)送函數(shù)) S...