NEZHA Abstract 主要核心創(chuàng)新點：1.函數(shù)式相關性位置編碼 2.全詞mask策略 3.混合預測訓練 4.LAMB優(yōu)化器 1 Introduction google...
IP屬地：浙江
-
nezha論文解析
-
transformer代碼全解析
The Annotated Transformer 1 詞嵌入 1.1 embeddings 詞嵌入矩陣，大小為vocab詞個數(shù)*d_model詞向量長度 1.2 Posit...
-
bert原碼解析(embedding)寫這篇文章的起因是看ALBERT的時候，對其中參數(shù)因式分解，減少參數(shù)的方式不理解，后來通過原碼來了解原理。后來想到雖然平時基于bert的nlp任務做的挺多的，但對原理還...
-
spark rdd編程
之前簡單用了下spark ml,發(fā)現(xiàn)還是需要練習下基礎的rdd使用，以方便模型的建立。 RDD操作 RDD被創(chuàng)建好以后，在后續(xù)使用過程中一般會發(fā)生兩種操作： * ? 轉換（T...
-
spark ml邏輯回歸實現(xiàn)因為之前做的評分卡模型主要基于lr,xgboost。先做一個鳶尾花數(shù)據集的邏輯回歸例子，熟悉spark ml機器學習流程。 1 先讀取hdfs中文件到rdd中，再轉換為dat...
-
spark ml邏輯回歸（評分卡模型）之前做了個基于鳶尾花的邏輯回歸模型。本篇做的是使用真實數(shù)據的lr模型，遇到的一些問題，解決在此記錄。 1 讀取數(shù)據。因為之前在sklean上做的時候導出了csv文件，所以這里...
-
spark ml使用本篇為spark上的第一個機器學習簡單實例 spark上機器學習庫分為spark mllib和spark ml，我們這里主要使用spark ml spark mllib針對對...
-
PyCharm+PySpark遠程調試的環(huán)境配置的方法之前在工作中做過一個機器學習的駕駛人風險評分卡模型。 現(xiàn)在想把原來基于sklearn包做的單機模型，改成hadoop+spark的分布式計算，以提高工程化的計算效率。 在這過...