IP屬地：浙江
-
大模型推理（1）大模型推理： 目前在項(xiàng)目中試驗(yàn)了多種大模型:llama,vicuna,chatglm,ziya,baichuan，以及模型微調(diào)+模型推理。總的來(lái)...
-
nezha論文解析
NEZHA Abstract 主要核心創(chuàng)新點(diǎn)：1.函數(shù)式相關(guān)性位置編碼 2.全詞mask策略 3.混合預(yù)測(cè)訓(xùn)練 4.LAMB優(yōu)化器 1 Intr...
-
transformer代碼全解析
The Annotated Transformer 1 詞嵌入 1.1 embeddings 詞嵌入矩陣，大小為vocab詞個(gè)數(shù)*d_model...
-
bert原碼解析(embedding)寫(xiě)這篇文章的起因是看ALBERT的時(shí)候，對(duì)其中參數(shù)因式分解，減少參數(shù)的方式不理解，后來(lái)通過(guò)原碼來(lái)了解原理。后來(lái)想到雖然平時(shí)基于bert的n...
-
spark ml邏輯回歸（評(píng)分卡模型）之前做了個(gè)基于鳶尾花的邏輯回歸模型。本篇做的是使用真實(shí)數(shù)據(jù)的lr模型，遇到的一些問(wèn)題，解決在此記錄。 1 讀取數(shù)據(jù)。因?yàn)橹霸趕klean上做的...
-
spark ml邏輯回歸實(shí)現(xiàn)因?yàn)橹白龅脑u(píng)分卡模型主要基于lr,xgboost。先做一個(gè)鳶尾花數(shù)據(jù)集的邏輯回歸例子，熟悉spark ml機(jī)器學(xué)習(xí)流程。 1 先讀取hdfs中...
-
spark rdd編程
之前簡(jiǎn)單用了下spark ml,發(fā)現(xiàn)還是需要練習(xí)下基礎(chǔ)的rdd使用，以方便模型的建立。 RDD操作 RDD被創(chuàng)建好以后，在后續(xù)使用過(guò)程中一般會(huì)發(fā)...
-
spark ml使用本篇為spark上的第一個(gè)機(jī)器學(xué)習(xí)簡(jiǎn)單實(shí)例 spark上機(jī)器學(xué)習(xí)庫(kù)分為spark mllib和spark ml，我們這里主要使用spark ml...
-
PyCharm+PySpark遠(yuǎn)程調(diào)試的環(huán)境配置的方法之前在工作中做過(guò)一個(gè)機(jī)器學(xué)習(xí)的駕駛?cè)孙L(fēng)險(xiǎn)評(píng)分卡模型。 現(xiàn)在想把原來(lái)基于sklearn包做的單機(jī)模型，改成hadoop+spark的分布式計(jì)算，以...