背景 最近在訓(xùn)練樹模型的時候遇到了一個問題：在一次手動特征工程之后，我從原始數(shù)據(jù)衍生了3個類別型特征，隨后加入模型訓(xùn)練，以期望帶來模型效果的提升。但最終實驗結(jié)果出乎意料：加入...
IP屬地：北京
-
關(guān)于高維稀疏特征對樹模型的影響
-
Embedding 原理與代碼實戰(zhàn)embedding 的原理 embedding 層做了個什么呢？它把我們的稀疏矩陣，通過一些線性變換（在CNN中用全連接層進(jìn)行轉(zhuǎn)換，也稱為查表操作），變成了一個密集矩陣，這從...
-
-
發(fā)生在 LR 之前的故事沒有邏輯回歸之前，我們是怎么思考一個分類問題呢？ Gaussian distribution (高斯分布) 假設(shè)在一個平面直角坐標(biāo)系上朝原點扔飛鏢，投擲的結(jié)果會產(chǎn)生隨機誤差。...
-
經(jīng)典算法：關(guān)于 SVM 的一切
之前的文章寫在了 CSDN，暫時沒有挪過來https://blog.csdn.net/v_princekin/article/details/78563572[https:/...
-
基于樹模型的集成算法---LightGBM一、模型介紹 上一篇文章介紹了一個梯度提升決策樹模型 XGBoost[http://www.itdecent.cn/p/305e4c43ab45]，這篇文章我們繼續(xù)學(xué)習(xí)一...
-
基于樹模型的集成算法 ---XGBoost一、模型介紹 XGBoost 是 boosting 算法的其中一種。Boosting 算法的思想是將許多弱分類器集成在一起形成一個強分類器。因為 XGBoost 是一種提升樹...
-
基于樹模型的集成算法---GBDT
一、模型介紹 GBDT 的全稱是 Gradient Boosting Decision Tree，梯度提升決策樹。 GBDT 也是集成學(xué)習(xí) Boosting 家族的成員，但是...
-
-
基于樹模型的集成算法---AdaBoost
一、模型介紹 Adaboost 是一種迭代算法，其核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個更強的最終分類器（強分類器）。A...
-
機器學(xué)習(xí)中的評價指標(biāo)不同的機器學(xué)習(xí)任務(wù)有著不同的性能評價指標(biāo)。例如，分類問題，可以使用準(zhǔn)確率 (Accuracy)、對數(shù)損失函數(shù) (log-loss)、AUC等評價方法。實數(shù)序列數(shù)據(jù)預(yù)測問題，可...
-
-
基于樹模型的集成算法---Random Forest
一、模型介紹 隨機森林是一種由決策樹構(gòu)成的集成算法. 隨機森林屬于集成學(xué)習(xí)中的 Bagging. 用隨機的方式建立一個森林，森林里面有很多的決策樹組成，隨機森林的每一棵決策樹...
-
Python中的函數(shù)最優(yōu)化 (scipy)最優(yōu)化處理尋找一個函數(shù)的最小值（最大值或零）的問題。在這種情況下，這個函數(shù)被目標(biāo)函數(shù)。本文中，我們使用 scipy.optimize 來進(jìn)行黑盒優(yōu)化。 我們不依賴于我們優(yōu)化的...
-
Python 中的函數(shù)擬合
很多業(yè)務(wù)場景中，我們希望通過一個特定的函數(shù)來擬合業(yè)務(wù)數(shù)據(jù)，以此來預(yù)測未來數(shù)據(jù)的變化趨勢。(比如用戶的留存變化、付費變化等)本文主要介紹在 Python 中常用的兩種曲線擬合方...
-
集成學(xué)習(xí)算法：Bagging 和 Boosting
集成學(xué)習(xí)歸屬于機器學(xué)習(xí)，它是一種 ‘訓(xùn)練思路’，并不是某種具體的方法或者算法。集成學(xué)習(xí)的核心思路就是 ‘人多力量大’，它并沒有創(chuàng)造出新的算法，而是把已有的算法進(jìn)行結(jié)合，從而得...
-
歡迎加入人工智能領(lǐng)域！
-
機器學(xué)習(xí)，數(shù)據(jù)挖掘，深度學(xué)習(xí)，自然語言處理交流。歡迎大家投稿。
-
討論和分享機器學(xué)習(xí)的知識，專注分享關(guān)于機器學(xué)習(xí)的高質(zhì)量干貨
-
機器學(xué)習(xí)、深度學(xué)習(xí)資料整理，實戰(zhàn)經(jīng)驗總結(jié)：https://github.com/jacksu/machine-learning
