發(fā)簡(jiǎn)信
IP屬地：廣東
-
Hive注釋中文亂碼
創(chuàng)建表的時(shí)候，comment說(shuō)明字段包含中文，表成功創(chuàng)建成功之后，中文說(shuō)明顯示亂碼 創(chuàng)建完成后查看 這是因?yàn)樵贛ySQL中的元數(shù)據(jù)出現(xiàn)亂碼 針對(duì)...
-
Kafka Manager安裝
Kafka Manager安裝 1.sbt安裝 官方安裝說(shuō)明 驗(yàn)證安裝 2.Kafka Manager安裝 獲取安裝包 GitHub地址 解壓安...
-
hadoop小文件問(wèn)題
文檔目錄 什么是小文件 小文件產(chǎn)生的原因 小文件引起的問(wèn)題 小文件解決方案 如何選擇小文件解決方案 什么是小文件 小文件的定義和hadoop中...
-
安裝擴(kuò)展包(Install External Libraries)在CDH平臺(tái)上為Streamsets導(dǎo)入擴(kuò)展包前, 先設(shè)置一個(gè)用來(lái)存儲(chǔ)這些擴(kuò)展包的目錄 在Cloundera管理平臺(tái)界面中, 選擇StreamS...
-
StreamSets update和delete分離之后導(dǎo)致的操作順序錯(cuò)亂現(xiàn)象： 當(dāng)期的操作流程如下圖： 這樣的處理流程會(huì)造成如下問(wèn)題： 1、當(dāng)binlog解析出的批次數(shù)據(jù)中，數(shù)據(jù)包含了對(duì)同一條數(shù)據(jù)的刪除和修改操作時(shí)，...
-
otter基礎(chǔ)一、otter介紹 阿里巴巴B2B公司，因?yàn)闃I(yè)務(wù)的特性，賣家主要集中在國(guó)內(nèi)，買家主要集中在國(guó)外，所以衍生出了杭州和美國(guó)異地機(jī)房的需求，同時(shí)為了提...
-
hive 優(yōu)化
原文地址 Apache Hive是一個(gè)類似SQL的軟件，與Hadoop一起使用，使用戶能夠快速高效地使用自己的語(yǔ)言HiveQL執(zhí)行類似SQL的查...
-
Flume基礎(chǔ)案例
核心概念 Agent:使用JVM 運(yùn)行Flume。每臺(tái)機(jī)器運(yùn)行一個(gè)agent，但是可以在一個(gè)agent中包含多個(gè)sources和sinks。Cl...
-
spark 內(nèi)存管理內(nèi)容目錄 JVM 內(nèi)存使用架構(gòu)剖析 Spark 1.6.x以前版本內(nèi)存管理 Spark on Yarn 計(jì)算內(nèi)存使用案例 Spark Unifi...