發(fā)簡(jiǎn)信
IP屬地：臺(tái)灣
-
kafka
kafka 是一個(gè)分布式的，分區(qū)的，復(fù)制的提交日志服務(wù) 分布式：kafka可以提供集群服務(wù)，它是由一個(gè)或者多個(gè)broker組成，每個(gè)broker...
-
spark 相關(guān)總結(jié)spark 部署有幾種模式spark 可分為單機(jī)模式和集群模式集群模式又可分為standalone獨(dú)立集群模式，yarn 集群模式和mesos集...
-
spark on hbase 讀寫本文主要講述了spark對(duì)hbase進(jìn)行獨(dú)寫的兩種方式，這兩種方式分別為：1.利用spark提供的 newAPIHadoopRDD api 對(duì)h...
-
hdfs 故障切換hdfs 集群為我們提供分布式的存儲(chǔ)資源，hdfs 主要由namenode 和 datanode 組件構(gòu)成，文件在hdfs中是以塊來(lái)存儲(chǔ)的，根據(jù)...
-
mrmr 的設(shè)計(jì)思想是分而治之，它分為兩個(gè)階段，分別為map階段和reduce階段，map階段體現(xiàn)了分的思想，將一個(gè)復(fù)雜的任務(wù)分解成若干個(gè)簡(jiǎn)單的任務(wù)...
-
hadoop 小文件處理方案
hadoop hdfs 被設(shè)計(jì)用作海量數(shù)據(jù)存儲(chǔ)，適合存儲(chǔ)大文件，文件在hdfs中是以block的形式存儲(chǔ)的，在hadoop 1.x中，hdfs ...
-
hbase bulkload 寫入數(shù)據(jù)hbase 寫入數(shù)據(jù)有以下三種方式： 1.利用hbase提供的api寫入 2.通過(guò)mr任務(wù)將數(shù)據(jù)寫入 3.通過(guò)bulkload工具將數(shù)據(jù)寫入 前...
-
hbase bulkload 寫入數(shù)據(jù)
hbase 寫入數(shù)據(jù)有以下三種方式： 1.利用hbase提供的api寫入 2.通過(guò)mr任務(wù)將數(shù)據(jù)寫入 3.通過(guò)bulkload工具將數(shù)據(jù)寫入 前...
-
jvm筆者最近學(xué)習(xí)jvm 的內(nèi)存模型，這里根據(jù)下面幾個(gè)模塊來(lái)做個(gè)總結(jié)： 1.jvm的內(nèi)存模型 2.jvm gc原理 jvm的內(nèi)存模型 jvm 的內(nèi)存模...