一、剪枝 1. 為什么要剪枝 在決策樹(shù)生成的時(shí)候,更多考慮的是訓(xùn)練數(shù)據(jù),而不是未知數(shù)據(jù),這會(huì)導(dǎo)致過(guò)擬合,使樹(shù)過(guò)于復(fù)雜,對(duì)于未知的樣本不準(zhǔn)確。 2...
決策樹(shù)是一種基本的分類(lèi)與回歸方法。這里主要討論決策樹(shù)用于分類(lèi)。 決策樹(shù)模型是描述對(duì)樣本進(jìn)行分類(lèi)的樹(shù)形結(jié)構(gòu)。樹(shù)由結(jié)點(diǎn)和有向邊組成: 內(nèi)部結(jié)點(diǎn)表示一...
一、信息熵 熵 (entropy) 這一詞最初來(lái)源于熱力學(xué)。1948年,克勞德·愛(ài)爾伍德·香農(nóng)將熱力學(xué)中的熵引入信息論,所以也被稱(chēng)為香農(nóng)熵 (S...
一、Logistic regression中sigmod函數(shù)推導(dǎo) sigmod函數(shù)的推導(dǎo) 1.伯努利分布 一個(gè)事件x,其結(jié)果只有兩種:x=1 o...
一、貝葉斯公式推導(dǎo) 1.條件概率 設(shè)是任意兩個(gè)事件,已知發(fā)生的條件下,發(fā)生的條件概率為: 2.全概率公式 設(shè)為有限或無(wú)限個(gè)事件,他們兩兩互斥,即...
一、詳細(xì)理解誤差(error)與偏差(bias)和方差(variance) 1.偏差與方差 2.error與bias和variance的關(guān)系 總...
一、什么是機(jī)器學(xué)習(xí)? 機(jī)器學(xué)習(xí)包括:1.監(jiān)督學(xué)習(xí)(supervised learning) ①回歸:尋找一個(gè)假設(shè)函數(shù),根據(jù)大量的訓(xùn)練集X來(lái)預(yù)測(cè)目...
SampleApp_ProcessEvent 事件處理函數(shù) 例如: void SampleApp_SendPeriodicMessage( vo...