是絕對(duì)位置。learnable怎么理解呢？
Bert細(xì)節(jié)整理本文是對(duì)bert的細(xì)節(jié)進(jìn)行整理，分成3個(gè)部分的問題： 目錄 輸入 與transformer相比輸入有什么不同？ bert的3種embedding分別有什么意義，如果實(shí)現(xiàn)的？ ...
發(fā)簡信
IP屬地：北京
-
-
《秘密》
本篇是我的讀書筆記《秘密》，大多也是摘錄。 讀完后，書中的部分觀點(diǎn)與其他書大同小異，但是這本書操作性強(qiáng)。自我總結(jié)成以下幾點(diǎn)： 明確自己的目標(biāo)（好的期望） 增強(qiáng)美好期望畫面感，...
-
《影響力》
這篇文章其實(shí)更多講的是，有哪些方面會(huì)影響我們作出決策。作者總結(jié)了6大影響力武器： 互惠 承諾和一致 社會(huì)認(rèn)同 喜好 權(quán)威 稀缺 1. 互惠 —— 給予，索取，再索取 原因 因...
-
《活出生命的意義》
本篇是一些摘錄： 1. 生活態(tài)度 我們期望生活給予什么并不重要，重要的是生活對(duì)我們有什么期望。 我們真正需要的，是在生活態(tài)度上來個(gè)根本的轉(zhuǎn)變。我們需要了解自身，而且需要說服那...
-
特征歸一化/標(biāo)準(zhǔn)化1. 為什么要做特征歸一化/標(biāo)準(zhǔn)化？ 數(shù)據(jù)預(yù)處理中，通常會(huì)用到特征歸一化，為什么要做歸一化呢？一般有兩點(diǎn)： 消除特征間單位和尺度差異的影響特征間的單位（尺度）可能不同。比如身...
-
Bert細(xì)節(jié)整理本文是對(duì)bert的細(xì)節(jié)進(jìn)行整理，分成3個(gè)部分的問題： 目錄 輸入 與transformer相比輸入有什么不同？ bert的3種embedding分別有什么意義，如果實(shí)現(xiàn)的？ ...
-
L1、L2正則化正則化（Regularization）是機(jī)器學(xué)習(xí)中一種常用的技術(shù)，其主要目的是控制模型復(fù)雜度，減小過擬合。最基本的正則化方法是在原目標(biāo)（代價(jià)）函數(shù) 中添加懲罰項(xiàng)，對(duì)復(fù)雜度高的...
-
Transformer細(xì)節(jié)整理本文是對(duì)transformer的細(xì)節(jié)進(jìn)行整理，主要有以下問題： Transformer為什么Q和K使用不同的權(quán)重矩陣生成，為何不能使用同一個(gè)值進(jìn)行自身的點(diǎn)乘？ 關(guān)于 self...
-
pyspark: sql.functions以及udf函數(shù)
大綱 選取列 select 常數(shù)列 lit 條件分支 when otherwise 數(shù)學(xué)函數(shù) 時(shí)間函數(shù) 窗口函數(shù) row_number 自定義函數(shù) udf split & e...
-
交叉熵?fù)p失函數(shù)
目錄 二分類 多分類 為什么sigmoid激活函數(shù)，使用交叉熵?fù)p失函數(shù)更好? 1. 二分類 激活函數(shù)sigmoid這里要注意的是是最后一層的輸出，才是激活函數(shù)后的輸出，為預(yù)測(cè)...
-
搜索排序指標(biāo)
這里說的指標(biāo)用于離線評(píng)估模型的。一般驗(yàn)證時(shí)都是拿前T天的數(shù)據(jù)進(jìn)行模型訓(xùn)練，拿第T+1到T+m天的數(shù)據(jù)進(jìn)行離線指標(biāo)驗(yàn)證。本篇文章主要介紹以下一些指標(biāo)： AUC GAUC log...
-
搜索排序之房源點(diǎn)擊在我們的業(yè)務(wù)場(chǎng)景中，優(yōu)化指標(biāo)是總的商機(jī)數(shù)（聯(lián)系經(jīng)紀(jì)人算是商機(jī)），通過對(duì)業(yè)務(wù)指標(biāo)進(jìn)行拆解，將目標(biāo)拆分成： 提升用戶搜索次數(shù) 提升搜索pctr（pctr表示點(diǎn)擊次數(shù)/請(qǐng)求數(shù)） 提...
-
wide&deep VS deepFMwide&deep和deepFM在推薦搜索中比較常見，這里對(duì)原理不做過多介紹，主要想說下特征處理。 1. wide&deep 模型結(jié)構(gòu) wide&deep結(jié)合了LR和DNN，...
-
lgb的categorical_feature
在lightgbm中對(duì)categorical feature有專門的處理，但是需要標(biāo)明哪些特征是categorical類型；另外在執(zhí)行config文件也有相應(yīng)的參數(shù)categ...
-
BERT模型BERT框架 BERT有兩部分：pre-training和fine-tuning。在pre-training階段，會(huì)在沒有標(biāo)注數(shù)據(jù)且不同預(yù)訓(xùn)練任務(wù)上訓(xùn)練模型；在fine-tu...
-
python 優(yōu)先級(jí)隊(duì)列PriorityQueue
本文內(nèi)容來自于python隊(duì)列queue 之優(yōu)先級(jí)隊(duì)列[https://www.cnblogs.com/saolv/p/9502124.html] PriorityQueue...
-
信息熵的相關(guān)概念（交叉熵、相對(duì)熵等）
1. 信息熵 參考信息熵是什么？- D.Han的回答-知乎[https://www.zhihu.com/question/22178202/answer/223017546]...
-
python字典初始化dict()與{}
參考： The Performance Impact of Using dict() Instead of {} in CPython 2.7[https://doughel...
-
阿里小蜜的架構(gòu)設(shè)計(jì)本篇總結(jié)了阿里小蜜從2017-2020年的演進(jìn)過程，更偏向架構(gòu)體系上的介紹，不對(duì)具體技術(shù)做詳細(xì)介紹。具體技術(shù)部分會(huì)放在后面的文章中。 1. 2017：意圖與匹配分層的技術(shù)架構(gòu)...