一、模型介紹 GBDT 的全稱是 Gradient Boosting Decision Tree，梯度提升決策樹。 GBDT 也是集成學(xué)習(xí) Boosting 家族的成員，但是...
IP屬地：北京
-
基于樹模型的集成算法---GBDT
-
基于樹模型的集成算法---AdaBoost
一、模型介紹 Adaboost 是一種迭代算法，其核心思想是針對同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個(gè)更強(qiáng)的最終分類器（強(qiáng)分類器）。A...
-
機(jī)器學(xué)習(xí)中的評價(jià)指標(biāo)不同的機(jī)器學(xué)習(xí)任務(wù)有著不同的性能評價(jià)指標(biāo)。例如，分類問題，可以使用準(zhǔn)確率 (Accuracy)、對數(shù)損失函數(shù) (log-loss)、AUC等評價(jià)方法。實(shí)數(shù)序列數(shù)據(jù)預(yù)測問題，可...
-
基于樹模型的集成算法---Random Forest
一、模型介紹 隨機(jī)森林是一種由決策樹構(gòu)成的集成算法. 隨機(jī)森林屬于集成學(xué)習(xí)中的 Bagging. 用隨機(jī)的方式建立一個(gè)森林，森林里面有很多的決策樹組成，隨機(jī)森林的每一棵決策樹...
-
Python 中的函數(shù)擬合
很多業(yè)務(wù)場景中，我們希望通過一個(gè)特定的函數(shù)來擬合業(yè)務(wù)數(shù)據(jù)，以此來預(yù)測未來數(shù)據(jù)的變化趨勢。(比如用戶的留存變化、付費(fèi)變化等)本文主要介紹在 Python 中常用的兩種曲線擬合方...
-
Python中的函數(shù)最優(yōu)化 (scipy)最優(yōu)化處理尋找一個(gè)函數(shù)的最小值（最大值或零）的問題。在這種情況下，這個(gè)函數(shù)被目標(biāo)函數(shù)。本文中，我們使用 scipy.optimize 來進(jìn)行黑盒優(yōu)化。 我們不依賴于我們優(yōu)化的...
-
正則化 L1 和 L2 詳解正則化是一個(gè)通用的算法和思想，所有會(huì)產(chǎn)生過擬合現(xiàn)象的算法都可以使用正則化來避免過擬合。在經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的基礎(chǔ)上（也就是訓(xùn)練誤差最小化），盡可能采用簡單的模型，可以有效提高泛化...
-
經(jīng)典算法：決策樹（Decision Tree）一、模型介紹 決策樹是一類常見的機(jī)器學(xué)習(xí)方法。既可以作為分類算法，也可以作為回歸算法。同時(shí)也非常適合集成學(xué)習(xí)。決策樹是最簡單的機(jī)器學(xué)習(xí)算法，它易于實(shí)現(xiàn)，可解釋性強(qiáng)，完全符合人...
-
經(jīng)典算法：邏輯回歸（Logistic Regression）一、模型介紹 Logistic Regression（邏輯回歸）是機(jī)器學(xué)習(xí)中一個(gè)非常非常常見的模型，是一種用于解決二分類（0 or 1）問題的機(jī)器學(xué)習(xí)方法。Logistic ...