E{1/m(x1+x2+...+xn)] = E(X)
var{1/m(x1+x2+...+xn)} = 1/mVar(X)
如果均值為E(x)，方差過大說明欠擬合，只要做無數(shù)次，能保證均值（無偏），方差減小
總結(jié)
低Bias表示離圓心近
高Bias表示里圓心遠
高var表示學習結(jié)果分散
低var表示學習結(jié)果集中
Bias越低模型越復雜，可以理解為在訓練集上的表現(xiàn)與訓練值很接近，容易過擬合
variance是在測試集上的表現(xiàn)反之要提高泛化能力，就要降低variance，這樣模型就會簡單，容易欠擬合
因此，我們想要找到低bias（可以想成是殘差很?。?/b>和高variance（穩(wěn)定，泛化能力高）的交叉點就是總誤差最小
Bagging能夠減少訓練方差（variance），對于不剪枝的決策樹、神經(jīng)網(wǎng)絡(luò)學習器有良好的集成效果，增加穩(wěn)定性
Boosting能減少偏差（Bias），能夠基于泛化能力較弱的學習器構(gòu)造強學習器，提高正確率
---原因
1. 變量少
2. 特征多
3. 函數(shù)過于復雜
處理方法：
1. 降維
2.正則化
除了GBDT中使用關(guān)于分類器的一階導數(shù)進行學習之外，也可以借鑒（逆）牛頓的思路使用二階導數(shù)學習弱分類器，比如XGboost
