背景：表中有一個(gè)降水強(qiáng)度字段，但是并不是真實(shí)的降雨量，后來數(shù)據(jù)模型的同事給了一個(gè)python腳本，按照腳本可以大體轉(zhuǎn)換成降雨量。思路：1.想過用 python 現(xiàn)將表中的數(shù)查...
發(fā)簡信
IP屬地：北京
-
Hive中使用Python文件實(shí)現(xiàn)UDF
-
sparkstreaming將offset存到hbase
之前一直將offset存到zookeeper，由于streaming程序會(huì)對(duì)zk有大量的讀取操作，故將offset存到zk不太好，現(xiàn)已將offset都改到hbase中 kaf...
-
HikariCP數(shù)據(jù)庫連接池
快速，簡單，可靠。HikariCP是一個(gè)“零開銷”生產(chǎn)就緒JDBC連接池。大約130Kb,它的性能幾乎是C3P0、DBCP的25倍，十分強(qiáng)悍引用大話數(shù)據(jù)庫連接池 配置也是十分...
-
kafka刪除topic
刪除kafka topic及其數(shù)據(jù)，嚴(yán)格來說并不是很難的操作。但是，往往給kafka 使用者帶來諸多問題，發(fā)現(xiàn)都會(huì)偶然出現(xiàn)無法徹底刪除kafka的情況。前提：kafka必須配...
-
Hive的性能優(yōu)化以及數(shù)據(jù)傾斜
hive性能優(yōu)化 一、Map階段的優(yōu)化： （控制hive任務(wù)中的map數(shù)，確定合適的map數(shù)，以及每個(gè)map處理合適的數(shù)據(jù)量）。 map個(gè)數(shù)影響因子： input目錄中文件總...
-
flume監(jiān)控inode變化的文件由于要實(shí)時(shí)讀取redis的AOF文件，但是flume的taildir source在監(jiān)控文件的時(shí)候，如果文件的inode變化了，那么會(huì)出現(xiàn)重復(fù)讀取數(shù)據(jù)的情況，這里可以通過修改...
-
Hbase技術(shù)詳細(xì)學(xué)習(xí)筆記最近在逐步跟進(jìn)Hbase的相關(guān)工作，由于之前對(duì)Hbase并不怎么了解，因此系統(tǒng)地學(xué)習(xí)了下Hbase，為了加深對(duì)Hbase的理解，對(duì)相關(guān)知識(shí)點(diǎn)做了筆記，并在組內(nèi)進(jìn)行了Hbase...
