前言 Spark YarnShuffleService是作為Hadoop Yarn模塊中NodeManager的輔助服務(wù)寄生在其進程內(nèi)部，大家都知道可以通過這個外部服務(wù)來削減...
IP屬地：澳門
-
記一次Spark Yarn Shuffle Service升級引發(fā)的血案 -
Hive、Spark SQL任務(wù)參數(shù)調(diào)優(yōu)動態(tài)分區(qū) 參數(shù)說明hive.exec.dynamic.partition是否開啟動態(tài)分區(qū)，默認(rèn)是false。如果要開啟動態(tài)分區(qū)，就設(shè)置為truehive.exec.dynam...
-
[spark] Shuffle Write解析 (Sort Based Shuffle)
本文基于 Spark 2.1 進行解析 前言 從 Spark 2.0 開始移除了Hash Based Shuffle，想要了解可參考Shuffle 過程，本文將講解 Sort...
-
怎樣理解同步異步和阻塞非阻塞
今天跟公司同事討論了下同步異步，阻塞非阻塞，在這里做下總結(jié)，同時也發(fā)現(xiàn)很多同學(xué)（包括之前我）對同步異步，阻塞非阻塞的概念理解不太清晰。 之前看過一個很形象的例子來說明同步異步...
-
常用Spark算子總結(jié)RDD的創(chuàng)建和保存1.1 textFile從HDFS中讀取一個文本文件1.2 makeRDD、parallelize都會創(chuàng)建一個新的ParallelCollectionRDD...
-
Spark入門學(xué)習(xí)
注：這篇博客講的是自己對Spark的初步認(rèn)識和學(xué)習(xí)，可能會有錯誤。參考資料是廈門大學(xué)的Spark學(xué)習(xí)基礎(chǔ)，對應(yīng)網(wǎng)址上有關(guān)于Spark運行機制的6個視頻的講解（3.3節(jié)），更加...
-
記錄Spark中使用coalesce遇到的坑
場景： ??讀取2g大小的文件，做一些簡單的處理并將保存結(jié)果，為了方便的下載我將結(jié)果數(shù)據(jù)分成2個分區(qū)，分區(qū)方式是.coalesce(2).saveAsTestFile(pat...
-
記錄使用gson碰到的問題
這里我主要是記錄在Scala中使用gson.JsonParser時碰到的一些問題，假設(shè)我已經(jīng)創(chuàng)建了一個JsonParser類，即val parser = new JsonPa...
-
Win10 平臺下, LightGBM GPU 版本的安裝1. Light GBM 簡介 在數(shù)據(jù)挖掘和傳統(tǒng)機器學(xué)習(xí)領(lǐng)域，提起大名鼎鼎的 XGBoost，相信很多人都聽說過，尤其是在 Kaggle 賽場上，XGBoost 更是風(fēng)光無限...
-
@Feng_d76c 我的理解是，在訓(xùn)練階段decoder的輸入output embedding這樣一個向量是已知的，所以可以直接進行attention計算。但是在預(yù)測階段，decoder輸入output embedding中每一時刻的值都是根據(jù)前一時刻推出來，所以不能并行。
Transformer初識
??首先需要明確的是，Transformer是一個翻譯模型。與之前主流的翻譯模型相比，transformer的依然是一個encoder-decoder結(jié)構(gòu)，改變的主要是enc...
-
@枯寂星空 哈哈，七界
XGBoost和LightGBM對GBDT的改進
??首先需要了解什么是GBDT。簡單來講，GBDT就是將多個相關(guān)性很高的基分類器結(jié)合起來的模型。模型中每次新增的基分類器都要盡可能的擬合之前所有基分類器沒能擬合的殘差信息，也...
-
何時使用抽象類？何時使用接口？一、抽象類 在java中抽象的關(guān)鍵字為abstract，抽象類被創(chuàng)造出來就是為了繼承，簡單明了地告訴用戶跟編譯器自己大概是長什么樣子的。例如抽象類申明的語法： 抽象類有以下幾...
-
《推薦系統(tǒng)實踐》第八章學(xué)習(xí)筆記??本章講的是評分預(yù)測問題，也就是如何通過已知的用戶歷史評分記錄預(yù)測未知的用戶評分記錄。 評測算法 1. 平均值 ??取平均值作為預(yù)測結(jié)果是最簡單有效的一種統(tǒng)計方法，取平均值...
-
《推薦系統(tǒng)實踐》第七章學(xué)習(xí)筆記??本章主要講了如何設(shè)計一個真實的推薦系統(tǒng)。前面幾章都是從理論上講述了什么是推薦系統(tǒng)？如何利用用戶和物品的信息來設(shè)計和優(yōu)化推薦算法？但推薦算法畢竟只是推薦系統(tǒng)的一部分，如何在...
-
《推薦系統(tǒng)實踐》第六章學(xué)習(xí)筆記
??第6章的標(biāo)題是“利用社交網(wǎng)絡(luò)數(shù)據(jù)”，為什么要用社交網(wǎng)絡(luò)數(shù)據(jù)？答：好友的推薦對于增加用戶對推薦結(jié)果的信任度非常重要。??社交網(wǎng)絡(luò)定義了用戶之間的聯(lián)系，可以用圖G(V,E,w...
-
《推薦系統(tǒng)實踐》第五章學(xué)習(xí)筆記
??本章主要講了利用用戶的上下文信息進行更加個性化的推薦。上下文包括用戶訪問推薦系統(tǒng)的時間、地點、心情等，本章主要是講如何利用時間信息和地點信息優(yōu)化推薦算法。用戶特征和物品特...
-
《推薦系統(tǒng)實踐》第四章學(xué)習(xí)筆記
??本章主要講的是如何利用利用用戶的標(biāo)簽數(shù)據(jù)。推薦系統(tǒng)一種重要的工作方式是通過一些特征聯(lián)系用戶和物品，給用戶推薦那些具有用戶喜歡的特征的物品，而用戶標(biāo)簽則是一種很重要的特征表...
