今天偶然在人人上看到微軟亞研院分享的Lamport的采訪視頻,心情也比較好,就點進去看了。全英文沒有字幕也許是一道屏障,還好之前被訓練過,耐著性子也能看完。邊看邊記邊傻笑,人...
測試如何使用spark-submit來執(zhí)行編寫的wordcount代碼。 1、先簡單編寫測試文本。 2、將文本提交到hdfs上。 指令為:hadoop fs -put 本地路...
1、rowkey設(shè)計有哪三原則? ①長度原則:rowkey是二進制碼流。10-100個字節(jié)。 ②散列原則:rowkey是按照字典序存儲的。利用該規(guī)則,將數(shù)據(jù)均衡的分到不同...
要理解讀寫流程,先要清除hbase的架構(gòu)圖。以0.96版本以下的三層架構(gòu)為例: hbase是主從架構(gòu),主節(jié)點是HMaster,從節(jié)點是HRegionServer。 HMast...
--基礎(chǔ)設(shè)置 1、資源參數(shù)設(shè)置: --num-executors 配置Executor的數(shù)量 默認為2 --driver-memory 配置Driver內(nèi)存 默認為1...
1、你在工作當中有遇到內(nèi)存溢出問題嗎?你是如何解決的? 回答思路:先解釋spark的內(nèi)存模型,再分情況介紹不同情況下的解決方案??傮w思想是根據(jù)內(nèi)存模型找出不夠的那一塊內(nèi)存...
1、簡單介紹yarn? yarn是一個資源管理、任務(wù)調(diào)度的框架。主要包含三個模塊:resourceManger、nodeManger、ApplicationMater。 2、...
20200405--兩數(shù)之和 給定一個整數(shù)數(shù)組 nums和一個目標值 target,請你在該數(shù)組中找出和為目標值的那兩個整數(shù),并返回他們的數(shù)組下標。 你可以假設(shè)每種輸入只會對...
1、簡單介紹下hadoop吧? 廣義上hadoop是指與hadoop相關(guān)的大數(shù)據(jù)生態(tài)圈。包含hive、spark、hbase等。 狹義上hadoop指的是apache...
1、請解釋下cap理論? cap指的是分布式系統(tǒng)中的一致性(Consistency)、可用性(Availability)、分區(qū)容錯性(Partition tolerance)...
https://www.cnblogs.com/lanqiu5ge/p/9405601.html 1、zookeeper是什么? zk是給分布式集群提供協(xié)調(diào)和管理服務(wù)的框架。...