oozie使用(調(diào)用java外部類)

在Oozie的workflow上面調(diào)用jar包
workflow.xml

<?xml version="1.0" encoding="UTF-8"?>
<workflow-app xmlns="uri:oozie:workflow:0.5" name="shell-wf">
<start to="shell-node"/>
<action name="shell-node">
<java>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapreduce.job.queuename</name>
<value>${queueName}</value>
</property>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
<property>
<name>oozie.launcher.mapred.job.queue.name</name>
<value>${oozie_launcher_queue}</value>
</property>
</configuration>
<main-class>com.idata.Helloworld</main-class>
<capture-output/>
</java>
<ok to="end"/>
<error to="fail"/>
</action>
<kill name="fail">
<message>shell </message>
</kill>
<end name="end"/>
</workflow-app>

job.properties

nameNode=hdfs://namehaservice
jobTracker=namenode1:8032
queueName=default
oozie_launcher_queue=root.oozie
oozie.use.system.libpath=true
sdaRoot=sda
oozie.wf.application.path=${nameNode}/user/${user.name}/${sdaRoot}/shell

如果依賴外部包, 需要在項目文件下創(chuàng)建一個lib包,和項目文件一起put到HDFS上面去。

Paste_Image.png

否則會出現(xiàn)ClassNotFoundException。

Paste_Image.png

Oozie有個配置文件,會將job中的所有java文件引導(dǎo)到一個libpath下面:
Properties代碼(可以不配置)

#use custom library
oozie.libpath=${namenode}/user/hadoop/share/lib

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容