環(huán)境信息:CarbonData Carbon Thrift Server集成OSS - 環(huán)境搭建 1、運行carbondata thrift server /home/car...
1、基礎環(huán)境 見:CarbonData集成OSS - 基礎環(huán)境搭建 2、spark環(huán)境 3、配置carbondata和spark 1) carbon.properties在c...
1、環(huán)境搭建 見:CarbonData集成OSS - 基礎環(huán)境搭建 2、執(zhí)行如下命令 java -classpath /home/carbondata/carbondata/...
第一步:構建CarbonData 見CarbonData 構建過程 第二步:搭建偽分布式集群 見CarbonData hadoop偽分布式集群搭建 第三步:OSS bucke...
第一步:購買阿里云oss 三個字,很便宜。 第二步:參照圖中所示步驟進行oss bucket創(chuàng)建 第三步:創(chuàng)建目錄 /carbon/session/data/store,后續(xù)...
此篇文章基于上一篇carbondata 構建過程。 1、可為carbondata用戶增加管理員權限,避免一些對新手來說比較棘手的權限問題 以root賬號登錄,并輸入visud...
1、準備類Unix環(huán)境(Linux, Mac OS X) 筆者在阿里云上申請了一臺ECS,系統(tǒng)為CentOS 7.6 64位。 2、準備git環(huán)境 3、Oracle Java...
自從 2011 年被捐獻給 Apache 基金會到現(xiàn)在,Kafka 項目已經(jīng)走過了七個年頭。作為一個優(yōu)秀的分布式消息系統(tǒng),Kafka 已經(jīng)被許多企業(yè)采用并成為其大數(shù)據(jù)架構中不...
@飛奔的阿甘 swagger2
Swagger工程化實踐1、從零開始新增API 1.1、編寫Swagger API并保存為api.yaml到本地 打開Swagger editor API文檔編輯工具(通過單擊下面社區(qū)鏈接)社區(qū):h...
1、使用環(huán)境 kafka版本1.0.1kafka集群使用SASL_PLAINTEXT安全認證Broker屬性auto.create.topics.enable=true Pr...
1、安全概覽 社區(qū)從kafka 0.9.0.0開始支持安全機制功能,這些安全機制可以單獨或混合使用。 1.1、客戶端(producer、consumer、tool)與brok...
1、使用基礎信息 Kafka版本1.0.1Zookeeper版本3.4.6Ranger版本1.1.0Kerberos版本1.10.3-30兩個賬號:啟動Kafka服務的kaf...
環(huán)境說明: 1、1個zookeeper,3個kafka broker在同一主機。 1、創(chuàng)建一個test topic(3分區(qū)、3副本) kafka-topics.bat --c...
前提: 1、kafka版本1.0.12、在linux中使用kinit刷新kerberos認證信息 1、生產(chǎn)者 1.1、準備jaas.conf并添加到環(huán)境變量 文件內容為:Ka...
1、問題描述 當在HDP中配置了Oozie的SSO后,會發(fā)現(xiàn)在Hue中提交oozie workflow失敗異常。在解決問題的過程中,共出現(xiàn)了兩個異常。第二個異常是在解決第一個...
1、從零開始新增API 1.1、編寫Swagger API并保存為api.yaml到本地 打開Swagger editor API文檔編輯工具(通過單擊下面社區(qū)鏈接)社區(qū):h...
1、異常信息 2、排查過程 從下面這張圖中可以看出某一topic某一分區(qū)的leader副本節(jié)點掛了。由于唯一活著的144節(jié)點,分區(qū)副本已不再ISR集合中,再加上unClean...
1、互聯(lián)網(wǎng)標準技術架構圖 架構圖如下圖所示。這張圖基本涵蓋了互聯(lián)網(wǎng)技術公司的大部分技術點,不同公司只是在具體的技術實現(xiàn)上稍有差異,但不會跳出這個框架的范疇。 2、存儲層 SQ...