背景 最近在訓(xùn)練樹模型的時候遇到了一個問題:在一次手動特征工程之后,我從原始數(shù)據(jù)衍生了3個類別型特征,隨后加入模型訓(xùn)練,以期望帶來模型效果的提升。但最終實驗結(jié)果出乎意料:加入...
背景 最近在訓(xùn)練樹模型的時候遇到了一個問題:在一次手動特征工程之后,我從原始數(shù)據(jù)衍生了3個類別型特征,隨后加入模型訓(xùn)練,以期望帶來模型效果的提升。但最終實驗結(jié)果出乎意料:加入...
embedding 的原理 embedding 層做了個什么呢?它把我們的稀疏矩陣,通過一些線性變換(在CNN中用全連接層進(jìn)行轉(zhuǎn)換,也稱為查表操作),變成了一個密集矩陣,這從...
沒有邏輯回歸之前,我們是怎么思考一個分類問題呢? Gaussian distribution (高斯分布) 假設(shè)在一個平面直角坐標(biāo)系上朝原點扔飛鏢,投擲的結(jié)果會產(chǎn)生隨機誤差。...
之前的文章寫在了 CSDN,暫時沒有挪過來https://blog.csdn.net/v_princekin/article/details/78563572[https:/...
一、模型介紹 上一篇文章介紹了一個梯度提升決策樹模型 XGBoost[http://www.itdecent.cn/p/305e4c43ab45],這篇文章我們繼續(xù)學(xué)習(xí)一...
一、模型介紹 XGBoost 是 boosting 算法的其中一種。Boosting 算法的思想是將許多弱分類器集成在一起形成一個強分類器。因為 XGBoost 是一種提升樹...
一、模型介紹 GBDT 的全稱是 Gradient Boosting Decision Tree,梯度提升決策樹。 GBDT 也是集成學(xué)習(xí) Boosting 家族的成員,但是...
一、模型介紹 Adaboost 是一種迭代算法,其核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱分類器),然后把這些弱分類器集合起來,構(gòu)成一個更強的最終分類器(強分類器)。A...
不同的機器學(xué)習(xí)任務(wù)有著不同的性能評價指標(biāo)。例如,分類問題,可以使用準(zhǔn)確率 (Accuracy)、對數(shù)損失函數(shù) (log-loss)、AUC等評價方法。實數(shù)序列數(shù)據(jù)預(yù)測問題,可...
一、模型介紹 隨機森林是一種由決策樹構(gòu)成的集成算法. 隨機森林屬于集成學(xué)習(xí)中的 Bagging. 用隨機的方式建立一個森林,森林里面有很多的決策樹組成,隨機森林的每一棵決策樹...
最優(yōu)化處理尋找一個函數(shù)的最小值(最大值或零)的問題。在這種情況下,這個函數(shù)被目標(biāo)函數(shù)。本文中,我們使用 scipy.optimize 來進(jìn)行黑盒優(yōu)化。 我們不依賴于我們優(yōu)化的...
很多業(yè)務(wù)場景中,我們希望通過一個特定的函數(shù)來擬合業(yè)務(wù)數(shù)據(jù),以此來預(yù)測未來數(shù)據(jù)的變化趨勢。(比如用戶的留存變化、付費變化等)本文主要介紹在 Python 中常用的兩種曲線擬合方...
集成學(xué)習(xí)歸屬于機器學(xué)習(xí),它是一種 ‘訓(xùn)練思路’,并不是某種具體的方法或者算法。集成學(xué)習(xí)的核心思路就是 ‘人多力量大’,它并沒有創(chuàng)造出新的算法,而是把已有的算法進(jìn)行結(jié)合,從而得...