1.standalone模式
1.1 安裝
解壓縮 flink-1.7.0-bin-hadoop27-scala_2.11.tgz
修改 flink/conf/flink-conf.yaml 文件
修改 /conf/slave文件
分發(fā)給 另外兩臺機(jī)子
scp -r flink-1.7.0-bin-hadoop27-scala_2.11 slave1:/usr/local/src
scp -r flink-1.7.0-bin-hadoop27-scala_2.11 slave2:/usr/local/src
啟動
訪問 http://hadoop1:8081
1.2 測試
-
準(zhǔn)備數(shù)據(jù)文件
在linux上開啟socket端口
nc -l 9999
輸入如下數(shù)據(jù)：
-
執(zhí)行程序
./flink run -c com.gzjy.StreamWordCount flink-study.jar
輸出結(jié)果如下
補(bǔ)充
如果需要用到HDFS，則需要在每臺節(jié)點(diǎn)配置HADOOP_CONF_DIR和HADOOP_CLASSPATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`
并且下載一個jar包放在Flink的lib目錄下
下載地址：https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/
要按照HADOOP版本下載（記得分發(fā)到從節(jié)點(diǎn)）
2.yarn模式
1)啟動hadoop集群
2)導(dǎo)入環(huán)境變量：
export HADOOP_HOME=/app/hadoop-2.6.4
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
3)啟動yarn-session
./yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test -d
其中：
-n(--container)：TaskManager的數(shù)量。
-s(--slots)： 每個TaskManager的slot數(shù)量，默認(rèn)一個slot一個core，默認(rèn)每個taskmanager的slot的個數(shù)為1，有時可以多一些taskmanager，做冗余。
-jm：JobManager的內(nèi)存（單位MB)。
-tm：每個taskmanager的內(nèi)存（單位MB)。
-nm：yarn 的appName(現(xiàn)在yarn的ui上的名字)。
-d：后臺執(zhí)行。
啟動后報錯，說找不到j(luò)ar包
實(shí)在百度不出來，就做了一下操作解決了問題
1.更換Flink版本為Flink1.9.1，這個問題還是存在
2.去官網(wǎng)下載一個額外的jar包，放入flink安裝包的lib目錄下
下載地址：https://flink.apache.org/downloads.html
重啟Hadoop集群，再次執(zhí)行啟動Flink集群命令，發(fā)現(xiàn)啟動成功。
4)去yarn控制臺查看任務(wù)狀態(tài)
3.單機(jī)版部署
step1 解壓：
]# tar -zxvf flink-1.9.1-bin-scala_2.11.tgz
step2 配置
1）配置flink-conf.yaml
首先查看主機(jī)名：[root@logserver flink-1.9.1]# hostname
logserver
再配置主機(jī)名：
]# vim conf/flink-conf.yaml
jobmanager.rpc.address: logserver
2）配置conf/masters
[root@logserver flink-1.9.1]# cat conf/masters
logserver:8081
step3 啟動單機(jī)版flink：
]# ./bin/start-cluster.sh
step4 查看dashboard界面:http://logserver:8081
step5 官方案例演示
- 啟動一個終端輸入如下指令：
nc -lk 8000 -
啟動第二個終端，執(zhí)行flink自帶的wordcount案例
bin/flink run examples/streaming/SocketWindowWordCount.jar --port 8000
3.在第一個終端發(fā)送數(shù)據(jù)：
hello
world
zhangsan
lisi
hello
aaa
aaa
-
測試結(jié)果保存在log/flink-root-taskexecutor-0-woniu.out文件中
