1.XGBoost算法原理 XGBoost是GDBT算法的應(yīng)用,GDBT是根據(jù)損失函數(shù)負(fù)梯度來(lái)進(jìn)行擬合每一個(gè)弱學(xué)習(xí)器,然后運(yùn)用加法模型,將每個(gè)弱...
1.前向分布算法 在集成學(xué)習(xí)中,Adaboost和GDBT都是采用加法模型和前向分布算法,唯一不同的是損失函數(shù)的選取。 首先我們需要知道什么是加...
1.統(tǒng)計(jì)學(xué)基本知識(shí): 統(tǒng)計(jì)學(xué):收集、處理、分析、解釋數(shù)據(jù)并從中得出結(jié)論的科學(xué)。 2.二項(xiàng)及泊松分布 3.大數(shù)定理: 4.正態(tài)分布:
1.集成學(xué)習(xí)概念 通過(guò)訓(xùn)練若干個(gè)個(gè)體學(xué)習(xí)器,通過(guò)結(jié)合策略,最終形成一個(gè)強(qiáng)學(xué)習(xí)器。 2.個(gè)體學(xué)習(xí)器概念 個(gè)體學(xué)習(xí)器又稱弱學(xué)習(xí)器,是集成學(xué)習(xí)的基本組...
1.信息論基礎(chǔ) 1.1熵:隨機(jī)變量不確定性的度量。熵越大表示這個(gè)隨機(jī)變量不確定性越小。 1.2聯(lián)合熵:2個(gè)隨機(jī)變量不確定性的度量。聯(lián)合分布的度量...
1.邏輯回歸和線性回歸的聯(lián)系和區(qū)別: 邏輯回歸和線性回歸的都是廣義的線性回歸。 線性回歸是根據(jù)最小二乘法來(lái)建模,邏輯回歸是根據(jù)最大似然來(lái)建模。 ...
1.監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí): 監(jiān)督學(xué)習(xí)(supervised learning): 輸入數(shù)據(jù)有特征值和標(biāo)簽值,利用數(shù)據(jù)去訓(xùn)練一個(gè)模型,當(dāng)新數(shù)據(jù)...