不同損失函數(shù)與激活函數(shù)所帶來的訓練的不同 ,,，導數(shù) 對比前兩列，最大的不同在,使用交叉熵的模型少乘了一個,而往往是很小的(只在0附近比較大)，所以第二列會比第一列收斂快。 ...
發(fā)簡信
IP屬地：福建
-
深度學習-前向傳播與反向傳播2
-
這個具體我沒做過，最近不做排序這塊有點忘記了，對于moultihot的話，如文中所說，需要多個vec聚合成一個vec，求和還是平均還是加權平均還是其他方法我覺得都可以試試
推薦系統(tǒng)-重排序-CTR-DeepFM等DNN模型
概述 關鍵詞：特征組合LR：缺乏特征組合能力，需人工做特征工程GBDT+LR：特種組合能力不強，對高維的稀疏特征應對乏力FM：具有較強的二階特征組合能力，高階特征組合應對乏力...
-
深度學習-RNN-循環(huán)神經網絡1，結構 輸入層，它通過一組連接權重接入狀態(tài)層。變成 隱藏層，它就厲害了。他有兩個輸入，一是輸入層，二是上一個自己。再通過激活函數(shù)變成所以，RNN的隱藏層，是在反復更新自己的...
-
深度學習-激活函數(shù)與優(yōu)化器
1，激活函數(shù) 具體激活函數(shù)參見此篇https://www.jiqizhixin.com/articles/2017-10-10-3 激活函數(shù)從圖像上來看通常比較簡單。他的工作...
-
NLP-Word Embedding-Attention機制attention機制是個坑。要明白attention機制，首先要明白seq2seq要明白seq2sql，首先要明白RNN要明白RNN，首先要明白MLP和BP算法這是atte...
-
深度學習-前向傳播與反向傳播概述 對于全連接的神經網絡(MLP)，其結構看似復雜， 其實只是簡單結構的不斷重復。這里的簡單結構就是sigmoid函數(shù)即LR:對于 有 和 標量 使當然隨著激活函數(shù)的發(fā)展...
-
推薦系統(tǒng)-重排序-CTR-DCN-CIN-xDeepFM一個總結https://www.cnblogs.com/xianbin7/p/10661572.html 特征交叉的 元素級bit-wise VS 向量級vector-wis...
-
推薦系統(tǒng)-重排序-CTR-DeepFM等DNN模型概述 關鍵詞：特征組合LR：缺乏特征組合能力，需人工做特征工程GBDT+LR：特種組合能力不強，對高維的稀疏特征應對乏力FM：具有較強的二階特征組合能力，高階特征組合應對乏力...
-
推薦系統(tǒng)-重排序-CTR-Wide&Deep模型模型 上圖講得十分清楚：第一層(最下層)黃點和灰點，表示稀疏離散特征。第二層表示對稀疏離散特征embedding后的稠密特征向量。第三層就是深度模型，這里使用了ReLu激活函...
-
推薦系統(tǒng)-重排序-CTR-GBDT+LR概述 GBDT的加入，是為了彌補LR難以實現(xiàn)特征組合的缺點。 LR LR作為一個線性模型，以概率形式輸出結果，在工業(yè)上得到了十分廣泛的應用。其具有簡單快速高效，結果可解釋，可...
-
推薦系統(tǒng)-重排序-CTR-FM模型及FFM等
1 概述 重排序模型中，特征主要使用離散one-hot編碼的特征。這是由任務本身特點與歷史發(fā)展以及模型特點決定的。首先就任務本身來說，主要涉及到的特征分為用戶特征-物品特征-...
-
機器學習-模型評價指標對于機器學習模型性能的評價，我們最常見的指標就是準確率(Accuracy,ACC)，當然，這是針對分類的。那么，除此之外，還有很多其他的指標。前面我們列出的損失函數(shù)，其實在某...
-
機器學習-損失函數(shù)
0，綜述 損失函數(shù)用于評價模型好壞。一個統(tǒng)計學習方法基本上由三個部分組成：模型+策略+算法1，模型，，即輸入樣本特征，可以返回樣本值或概率值的函數(shù)2，策略，有了模型，如何確定...
-
集成學習-Bagging-隨機森林RF
bagging bagging又名Bootstrap aggregating(自助聚合法，很扯的翻譯)Bootstrap 又名自助法，是統(tǒng)計學上的概念，核心思想是樣本重采樣(...
-
-
機器學習-泛化誤差與偏差bias與方差Variance
我們之所以需要擬合，就是因為我們難以甚至無法獲得全部真實數(shù)據如果我們可以獲取完備的真實數(shù)據集，那么我們壓根就不需要做擬合了，我們只要查詢就好了。所以，我們能獲取的數(shù)據，以及能...
-
集成學習-Boosting-GBDT
GBDT （梯度提升樹 Gradient Boosting Decision Tree ） GBDT是以決策樹（CART回歸樹）為弱學習器，應用加法模型的boosting算法...
-
決策樹-ID3，C4.5，CART決策樹 直觀上，決策樹是一個樹結構，從根節(jié)點開始，測試待分類項中相應的特征屬性（每次只測一個特征維度），并按照其值選擇輸出分支，直到到達葉子節(jié)點，將葉子節(jié)點存放的類別作為決策...
