Flink集群部署

基礎環(huán)境配置

下載安裝flink

下載安裝flink安裝包文件,并解壓:

tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.11.tgz -C ./

JDK安裝

下載JDK,解壓:

tar -zxvf jdk-8u181-linux-x64.tar.gz -C ./

設置環(huán)境變量:

vim ~/.bash_profile
export JAVA_HOME=/home/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH
source ~/.bash_profile

驗證java是否配置成功:

java -version

安裝部署

standalone方式部署

standalone的方式不需要修改配置文件內(nèi)容,直接執(zhí)行如下命令啟動即可:

flink/bin/start-cluster.sh

打印日志如下:

Starting cluster.
Starting standalonesession daemon on host flinkMaster.
Starting taskexecutor daemon on host flinkMaster.

集群方式部署

填寫配置文件

集群方式需要修改配置文件內(nèi)容,打開flink/conf目錄下的flink-conf.yaml配置文件,需要配置以下變量值:

-- 可以理解為spark的driver
jobmanager.rpc.address: localhost
jobmanager.rpc.port: 6123
這個修改為主節(jié)點的主機名。

打開flink/conf目錄下的masters文件,修改主機名。
打開flink/conf目錄下的slaves文件,填寫從節(jié)點的主機名。
然后將該flink目錄分發(fā)到從節(jié)點后,啟動如下命令即可:

flink/bin/start-cluster.sh
查看前端頁面

瀏覽器打開端口8081查看是否有如下頁面:


最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容