獨立集群部署
軟件要求
- 要求java 1.8.x及以上版本
- 安裝ssh服務，并支持免密登陸
- 設置JAVA_HOME環(huán)境變量, 也可以在conf/flink-conf.yaml配置文件中設置env.java.home
Flink配置
- 下載軟件版本(http://flink.apache.org/downloads.html)，確保與已經(jīng)部署的hadoop版本一致。(當前環(huán)境沒有部署hadoop) (在主節(jié)點運行)
cd /opt/hadoop/
wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.7.0/flink-1.7.0-bin-hadoop28-scala_2.12.tgz
tar xzf flink-1.7.0-bin-hadoop28-scala_2.12.tgz
cd flink-1.7.0/
- 測試集群環(huán)境為node1(192.168.110.222), node2(192.168.110.223), node3(192.168.110.224)。設置node1為master，其它為worker。
- 修改配置文件conf/flink-conf.yaml：
jobmanager.rpc.address: node1 # master地址
jobmanager.heap.size: 1024m # 根據(jù)實際內(nèi)存調(diào)整
taskmanager.heap.size: 1024m # 根據(jù)實際內(nèi)存調(diào)整
- 修改配置文件 conf/slaves，添加slave列表
node2
node3
- 修改配置文件 conf/masters, 修改主節(jié)點地址
node1:8081
- 拷貝整個目錄到所有slave節(jié)點主機上的/opt/hadoop目錄上（保證各個主機上flink目錄一致）
scp -r flink-1.7.0/ node2:/opt/hadoop
scp -r flink-1.7.0/ node3:/opt/hadoop
- 在主節(jié)點上啟動集群
./bin/start-cluster.sh
在瀏覽器中輸入http://192.168.110.222:8081，即可訪問管理網(wǎng)頁，如下圖所示：
- 在集群中添加額外的JobManager(master)/TaskManager(slave)
- 添加JobManager
bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all
- 添加TaskManager
bin/taskmanager.sh start|start-foreground|stop|stop-all
HA集群部署
詳細參考這篇博客文章：Flink JobManager HA模式部署（基于Standalone）
運行任務
在主節(jié)點上運行任務包，比如：
./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000
