今天偶然在人人上看到微軟亞研院分享的Lamport的采訪視頻,心情也比較好,就點進去看了。全英文沒有字幕也許是一道屏障,還好之前被訓練過,耐著性子也能看完。邊看邊記邊傻笑,人...
測試如何使用spark-submit來執(zhí)行編寫的wordcount代碼。 1、先簡單編寫測試文本。 2、將文本提交到hdfs上。 指令為:hadoop fs -put 本地路...
1、rowkey設計有哪三原則? ①長度原則:rowkey是二進制碼流。10-100個字節(jié)。 ②散列原則:rowkey是按照字典序存儲的。利用該規(guī)則,將數(shù)據(jù)均衡的分到不同...
要理解讀寫流程,先要清除hbase的架構圖。以0.96版本以下的三層架構為例: hbase是主從架構,主節(jié)點是HMaster,從節(jié)點是HRegionServer。 HMast...
--基礎設置 1、資源參數(shù)設置: --num-executors 配置Executor的數(shù)量 默認為2 --driver-memory 配置Driver內存 默認為1...
1、你在工作當中有遇到內存溢出問題嗎?你是如何解決的? 回答思路:先解釋spark的內存模型,再分情況介紹不同情況下的解決方案。總體思想是根據(jù)內存模型找出不夠的那一塊內存...
1、簡單介紹yarn? yarn是一個資源管理、任務調度的框架。主要包含三個模塊:resourceManger、nodeManger、ApplicationMater。 2、...
20200405--兩數(shù)之和 給定一個整數(shù)數(shù)組 nums和一個目標值 target,請你在該數(shù)組中找出和為目標值的那兩個整數(shù),并返回他們的數(shù)組下標。 你可以假設每種輸入只會對...
1、簡單介紹下hadoop吧? 廣義上hadoop是指與hadoop相關的大數(shù)據(jù)生態(tài)圈。包含hive、spark、hbase等。 狹義上hadoop指的是apache...
https://www.cnblogs.com/lanqiu5ge/p/9405601.html 1、zookeeper是什么? zk是給分布式集群提供協(xié)調和管理服務的框架。...