Impala性能優(yōu)化要點(diǎn): 1. 為數(shù)據(jù)存儲(chǔ)選擇合適的文件格式(如:Parquet) ??通常對(duì)于大數(shù)據(jù)量來(lái)說(shuō)，Parquet文件格式是最佳的 2. 防止入庫(kù)時(shí)產(chǎn)生大量的小文...
發(fā)簡(jiǎn)信
IP屬地：河南
-
Impala性能優(yōu)化總結(jié)
-
Kafka Index Service Task數(shù)據(jù)丟失
問(wèn)題: Druid的Kafka Index Service Task在配置完規(guī)則之后，按天分Segement,導(dǎo)致每天都有8小時(shí)的數(shù)據(jù)丟失 原因: Druid里使用UTC時(shí)間...
-
ChromeDriver設(shè)置有密碼的代理(Java版本)最近在在使用selenium爬取數(shù)據(jù)的時(shí)候，需要用到代理和JS渲染，使用PhantomJS渲染的效果無(wú)法解析部分?jǐn)?shù)據(jù)，所以用了chrome渲染，現(xiàn)在找到的ChromeDriv...
-
Flink的數(shù)據(jù)類(lèi)型和序列化
Apache Flink 以一種特有的方式來(lái)處理數(shù)據(jù)類(lèi)型和序列化，包括自有的類(lèi)型描述器、泛型抽取和類(lèi)型序列化框架，本文將描述其背后的概念和原理。 Flink的類(lèi)型處理 Fli...
-
Flink的并發(fā)執(zhí)行(Parallel Execution)
Flink的并發(fā)執(zhí)行 本章描述如何在Flink中配置程序的并發(fā)執(zhí)行，一個(gè)Flink程序可以由不同的task(如:transformations/opterators,data...
-
Spark Structured Streaming 與Kafka的整合
Structured Streaming 與0.10及以上版本的Kafka整合來(lái)對(duì)Kafka中的讀書(shū)進(jìn)行讀取和寫(xiě)入操作。 Linking 對(duì)于使用SBT/Maven定義的Sc...