發(fā)簡(jiǎn)信
IP屬地：上海
-
spark面試題1、rdd有哪些算子？ 主要分為轉(zhuǎn)換算子和action算子。 transformation：map、filter、flatmap、mappa...
-
關(guān)于spark-submit執(zhí)行jar包代碼測(cè)試如何使用spark-submit來(lái)執(zhí)行編寫(xiě)的wordcount代碼。 1、先簡(jiǎn)單編寫(xiě)測(cè)試文本。 2、將文本提交到hdfs上。 指令為：had...
-
hbase的優(yōu)化
1、rowkey設(shè)計(jì)有哪三原則? ①長(zhǎng)度原則：rowkey是二進(jìn)制碼流。10-100個(gè)字節(jié)。 ②散列原則：rowkey是按照字典序存儲(chǔ)的。利...
-
hbase讀寫(xiě)請(qǐng)求流程詳解要理解讀寫(xiě)流程，先要清除hbase的架構(gòu)圖。以0.96版本以下的三層架構(gòu)為例： hbase是主從架構(gòu)，主節(jié)點(diǎn)是HMaster，從節(jié)點(diǎn)是HRegi...
-
spark優(yōu)化專(zhuān)題
--基礎(chǔ)設(shè)置 1、資源參數(shù)設(shè)置： --num-executors 配置Executor的數(shù)量 默認(rèn)為2 --driver-memory ...
-
spark內(nèi)存溢出及其解決方案1、你在工作當(dāng)中有遇到內(nèi)存溢出問(wèn)題嗎？你是如何解決的？ 回答思路：先解釋spark的內(nèi)存模型，再分情況介紹不同情況下的解決方案?？傮w思想是根...
-
Hadoop面試題之yarn1、簡(jiǎn)單介紹yarn？ yarn是一個(gè)資源管理、任務(wù)調(diào)度的框架。主要包含三個(gè)模塊：resourceManger、nodeManger、Appli...
-
每日一篇算法題 leetcode
20200405--兩數(shù)之和 給定一個(gè)整數(shù)數(shù)組 nums和一個(gè)目標(biāo)值 target，請(qǐng)你在該數(shù)組中找出和為目標(biāo)值的那兩個(gè)整數(shù)，并返回他們的數(shù)組下...
-
hadoop面試題之HDFS1、簡(jiǎn)單介紹下hadoop吧？ 廣義上hadoop是指與hadoop相關(guān)的大數(shù)據(jù)生態(tài)圈。包含hive、spark、hbase等。 狹義上...