發(fā)簡信
IP屬地：上海
-
-
CarbonData Carbon Thrift Server集成OSS - 測試步驟環(huán)境信息：CarbonData Carbon Thrift Server集成OSS - 環(huán)境搭建 1、運行carbondata thrift server /home/car...
-
CarbonData Carbon Thrift Server集成OSS - 環(huán)境搭建
1、基礎環(huán)境 見：CarbonData集成OSS - 基礎環(huán)境搭建 2、spark環(huán)境 3、配置carbondata和spark 1） carbon.properties在c...
-
CarbonData SDK集成OSS - 測試步驟1、環(huán)境搭建 見：CarbonData集成OSS - 基礎環(huán)境搭建 2、執(zhí)行如下命令 java -classpath /home/carbondata/carbondata/...
-
CarbonData集成OSS - 基礎環(huán)境搭建
第一步：構建CarbonData 見CarbonData 構建過程 第二步：搭建偽分布式集群 見CarbonData hadoop偽分布式集群搭建 第三步：OSS bucke...
-
CarbonData OSS Bucket管理第一步:購買阿里云oss 三個字，很便宜。 第二步：參照圖中所示步驟進行oss bucket創(chuàng)建 第三步：創(chuàng)建目錄 /carbon/session/data/store，后續(xù)...
-
CarbonData Hadoop偽分布式集群搭建此篇文章基于上一篇carbondata 構建過程。 1、可為carbondata用戶增加管理員權限，避免一些對新手來說比較棘手的權限問題 以root賬號登錄，并輸入visud...
-
CarbonData 構建過程
1、準備類Unix環(huán)境(Linux, Mac OS X) 筆者在阿里云上申請了一臺ECS，系統(tǒng)為CentOS 7.6 64位。 2、準備git環(huán)境 3、Oracle Java...
-
Kafka 的七年之癢
自從 2011 年被捐獻給 Apache 基金會到現(xiàn)在，Kafka 項目已經(jīng)走過了七個年頭。作為一個優(yōu)秀的分布式消息系統(tǒng)，Kafka 已經(jīng)被許多企業(yè)采用并成為其大數(shù)據(jù)架構中不...
-
@飛奔的阿甘 swagger2
Swagger工程化實踐
1、從零開始新增API 1.1、編寫Swagger API并保存為api.yaml到本地 打開Swagger editor API文檔編輯工具（通過單擊下面社區(qū)鏈接）社區(qū)：h...
-
【Kafka零基礎學習】Producer授權
1、使用環(huán)境 kafka版本1.0.1kafka集群使用SASL_PLAINTEXT安全認證Broker屬性auto.create.topics.enable=true Pr...
-
【Kafka零基礎學習】Kafka1.0.1安全認證
1、安全概覽 社區(qū)從kafka 0.9.0.0開始支持安全機制功能，這些安全機制可以單獨或混合使用。 1.1、客戶端（producer、consumer、tool）與brok...
-
【Kafka零基礎學習】如何在Kafka Kerberos環(huán)境中創(chuàng)建和刪除Topic1、使用基礎信息 Kafka版本1.0.1Zookeeper版本3.4.6Ranger版本1.1.0Kerberos版本1.10.3-30兩個賬號：啟動Kafka服務的kaf...
-
【Kafka零基礎學習】模擬線上broker宕機處理過程
環(huán)境說明： 1、1個zookeeper，3個kafka broker在同一主機。 1、創(chuàng)建一個test topic（3分區(qū)、3副本） kafka-topics.bat --c...
-
【Kafka零基礎學習】如何用命令行生產(chǎn)或消費kerberos kafka集群
前提： 1、kafka版本1.0.12、在linux中使用kinit刷新kerberos認證信息 1、生產(chǎn)者 1.1、準備jaas.conf并添加到環(huán)境變量 文件內容為：Ka...
-
Hue支持Hdp3.0 Oozie1、問題描述 當在HDP中配置了Oozie的SSO后，會發(fā)現(xiàn)在Hue中提交oozie workflow失敗異常。在解決問題的過程中，共出現(xiàn)了兩個異常。第二個異常是在解決第一個...
-
Swagger工程化實踐1、從零開始新增API 1.1、編寫Swagger API并保存為api.yaml到本地 打開Swagger editor API文檔編輯工具（通過單擊下面社區(qū)鏈接）社區(qū)：h...
-
【Kafka零基礎學習】記一Leader選舉問題排查過程1、異常信息 2、排查過程 從下面這張圖中可以看出某一topic某一分區(qū)的leader副本節(jié)點掛了。由于唯一活著的144節(jié)點，分區(qū)副本已不再ISR集合中，再加上unClean...
-
【軟件架構篇】互聯(lián)網(wǎng)架構模板
1、互聯(lián)網(wǎng)標準技術架構圖 架構圖如下圖所示。這張圖基本涵蓋了互聯(lián)網(wǎng)技術公司的大部分技術點，不同公司只是在具體的技術實現(xiàn)上稍有差異，但不會跳出這個框架的范疇。 2、存儲層 SQ...
