發(fā)簡信
IP屬地：江蘇
-
Docker學(xué)習(xí)筆記什么是docker Docker 是一個(gè)開源的應(yīng)用容器引擎，基于 Go 語言 并遵從Apache2.0協(xié)議開源。 Docker 可以讓開發(fā)者打包...
-
Redis學(xué)習(xí)筆記Redis簡介 REmote DIctionary Server(Redis) 是一個(gè)由SalvatoreSanfilippo寫的key-val...
-
Hive自定義UDF、UDTF（initialize部分源碼解析）這里分析Hive中部分UDF及UDTF函數(shù)的源碼并依此進(jìn)行自定義 1.UDF 這里UDF以Upper方法為例 此方法會將傳入的字符串變?yōu)榇髮懞蠓?..
-
Sqoop導(dǎo)入My'SQL數(shù)據(jù)到hive及hdfs（全量及增量）Sqoop安裝 配置conf下的sqoop-env.sh文件 添加關(guān)鍵的環(huán)境變量 因?yàn)橐褂胢ysql，需要把mysql驅(qū)動包添加到lib下 在...
-
MapReduce中DBInputFormat和DBOutputFormat的使用DBWritable 在通過Mapper讀取數(shù)據(jù)時(shí)可以選擇使用DBInputFormat或DBOutputFormat從Mysql或Oracle...
-
HBase int類型字段存儲亂碼用MR往HBase里寫Int類型遇到了亂碼問題，總結(jié)一下。 直接往HBase表里寫int，通過shell查詢 可以看到是一堆字節(jié)數(shù)組，hbase...
-
Flume SinkProcessor及ChannelSelector（一個(gè)channel對接多個(gè)sink的情況）今天在看網(wǎng)課做項(xiàng)目的時(shí)候使用flume的時(shí)候拿它和kafka對接，source使用的是一個(gè)TAILDIR,channel就是一個(gè)普通的memor...
-
Hadoop Partitioner分區(qū)與Shuffle的關(guān)系及自定義分區(qū)代碼初學(xué)Hadoop對學(xué)習(xí)的東西作一個(gè)總結(jié)。 Partitioner（分區(qū)） 我們知道Hadoop中默認(rèn)使用的InputFormat是TextInp...
-
LinkedBlockingQueue及AQS哨兵節(jié)點(diǎn)的重要性線程池主要有兩種創(chuàng)建方式。 一種是選擇使用Executors線程池工具類，可以理解為線程池工廠類，通過該類設(shè)置好的一些靜態(tài)方法，創(chuàng)建指定類型的線...