發(fā)簡(jiǎn)信
IP屬地：廣東
-
關(guān)于hbase、spark、hive使用時(shí)的優(yōu)化問(wèn)題
一、Hbase的優(yōu)化 1、JVM優(yōu)化： 1）如：HBase RegionServer 的 Java 配置選項(xiàng) -XX:+UseParNewGC ...
-
大數(shù)據(jù)面試必問(wèn)-快速理解Hive的數(shù)據(jù)存儲(chǔ)格式及mapreduce底層原理
在大數(shù)據(jù)工程師面試時(shí)，下面這個(gè)題可謂是面試官的最愛(ài)，他考察了對(duì)于mapreduce框架以及hive的原理的理解，閱讀完這篇文章，在面試這一類的問(wèn)...
-
sqoop import使用
一、sqoop作用？ sqoop是一個(gè)數(shù)據(jù)交換工具，最常用的兩個(gè)工具是導(dǎo)入導(dǎo)出。 導(dǎo)入導(dǎo)出的參照物是hadoop，向hadoop導(dǎo)數(shù)據(jù)就是導(dǎo)入。...
-
azkaban（最適合入門(mén)）這里先默認(rèn)大家都已經(jīng)安裝并配置完成了azkaban1、啟動(dòng)azkaban 啟動(dòng)azkaban server。進(jìn)入executor，執(zhí)行： bin...
-
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
直奔主題： 其實(shí)這個(gè)錯(cuò)誤就是編譯的程序的scala版本和提交時(shí)的版本不一致導(dǎo)致的. 我是在idea上寫(xiě)的scala程序 用的是2.11....
-
史上最有趣的post、get方式詳解GET和POST兩種基本請(qǐng)求方法的區(qū)別 GET和POST是HTTP請(qǐng)求的兩種基本方法，要說(shuō)它們的區(qū)別，接觸過(guò)WEB開(kāi)發(fā)的人都能說(shuō)出一二。 最直觀...
-
Spark調(diào)優(yōu)之JVM調(diào)優(yōu)
今天給大家分享Spark調(diào)優(yōu)相關(guān)的JVM調(diào)優(yōu)，這個(gè)調(diào)優(yōu)方法在開(kāi)發(fā)中也很常見(jiàn)，他主要分為兩種，一種是降低cache操作的內(nèi)存占比，一種是調(diào)節(jié)exe...
-
HDFS MapReduce
hdfs的讀寫(xiě)流程 hdfs寫(xiě)數(shù)據(jù) 1） 客戶端通過(guò)DistributedFileSystem模塊向namenode請(qǐng)求上傳文件，namenod...
-
Redis數(shù)據(jù)"丟失"討論及規(guī)避和解決的幾點(diǎn)總結(jié)
Redis大部分應(yīng)用場(chǎng)景是純緩存服務(wù)，請(qǐng)求后端有Primary Storage的組件,如MySQL,HBase;請(qǐng)求Redis的鍵未命中，會(huì)從p...