CarbonData SDK集成OSS - 測試步驟

1、環(huán)境搭建

見:CarbonData集成OSS - 基礎(chǔ)環(huán)境搭建

2、執(zhí)行如下命令

java -classpath /home/carbondata/carbondata/assembly/target/scala-2.11/apache-carbondata-1.6.0-SNAPSHOT-bin-spark2.2.1-hadoop2.7.2.jar:/home/carbondata/carbondata/examples/spark2/target/carbondata-examples-1.6.0-SNAPSHOT.jar:/home/carbondata/hadoop-2.7.2/share/hadoop/tools/lib/:/home/carbondata/hadoop-2.7.2/share/hadoop/common/:/home/carbondata/hadoop-2.7.2/share/hadoop/mapreduce/* org.apache.carbondata.examples.sdk.SDKS3Example <access-key> <secret-key> <s3-endpoint> <table-path-on-s3>

其中access-key,secret-key,s3-endpoint,table-path-on-s3為CarbonData oss bucket管理中提到的4個基本要素

/home/carbondata為用戶目錄,carbondata和hadoop都安裝在用戶目錄下。

3、查看oss寫是否成功

image.png

4、查看oss讀是否成功

圖中顯示9條數(shù)據(jù)被正確讀取。


image.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • [root@hh hadoop]# hdfs namenode -format 17/12/12 17:42:06...
    好了傷疤忘了閱讀 1,470評論 0 51
  • 一、系統(tǒng)參數(shù)配置優(yōu)化 1、系統(tǒng)內(nèi)核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf,添加如下配置,然后執(zhí)行s...
    張偉科閱讀 3,923評論 0 14
  • 1 目的將hadoop 2.7.1 安裝到 166、167、168 三臺機(jī)器上2 提供環(huán)境練習(xí)環(huán)境192.168....
    灼灼2015閱讀 3,628評論 4 40
  • 如果能給幸福裝上開關(guān), 那可該有多好? 有你在身邊的日子, 我就把閥門打開, 讓幸福使勁地流淌, 充滿了每一個角落...
    江南煙雨閱讀 195評論 0 2
  • 最近迷上了薄荷糖,上好佳的。一次買了兩包,每天早上出門就揣幾顆,不那么甜,涼涼的,想抽煙的時候,餓的時候,坐上末班...
    讓我說閱讀 283評論 0 0

友情鏈接更多精彩內(nèi)容