最近也是想在StreamSets上去操作一個簡單的demo，也是遇到一些小的問題。記錄匯總一下，也算是重新溫故一下。

環(huán)境：
? ? ? ? CDH-5.13.3
? ? ? ? StreamSets 3.3.1

demo主要是基于網(wǎng)上一篇介紹如何增量同步mysql的數(shù)據(jù)到hive庫中。

上面大概就是整個過程的工作流。

問題匯總：
1:連接mysql 的時候因?yàn)闆]有mysql的jdbc連接包，因此需要手動上傳jdbc連接包。操作如下：

本以為會很正常上傳jdbc的包，結(jié)果出現(xiàn)了一個在StreamSets下無法創(chuàng)建lib的錯誤信息(具體信息沒有截圖),查看官網(wǎng)的操作才知道，解決辦法如下：

官網(wǎng)地址：https://streamsets.com/documentation/datacollector/latest/help/index.html#datacollector/UserGuide/Configuration/ExternalLibs.htm
1:在安裝streamSets的目錄下創(chuàng)建sdc-extras
mkdir?/opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.0.0.0/sdc-extras
2:對目錄進(jìn)行授權(quán)給sdc用戶
chown -R sdc:sdc??/opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.0.0.0/sdc-extras
3:配置相關(guān)環(huán)境配置，可以只在cm中進(jìn)行操作。
? ? 3.1:修改export STREAMSETS_LIBRARIES_EXTRA_DIR="/……/sdc-extras/"

? ? 3.2:修改sdc-security.policy(測試的時候沒添加也成功過，建議還是添加一下。畢竟也很簡單一點(diǎn))
grant codebase "file:///opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.0.0.0/sdc-extras/-" {? permission java.security.AllPermission;};

4:執(zhí)行完后，上傳jar包。(測試的時候突然重啟了一下，master節(jié)點(diǎn)啟動不了，后來停止了整個服務(wù)重啟了streamsets這個組件就好了)

5:執(zhí)行整個流程。