标签:目录 框架 创建 发送 处理 compile 组织 dir 存在
工作流(WorkFlow)就是工作流程的计算模型,即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计算。工作流要解决的主要问题是:为实现某个业务目标,在多个参与者之间,利用计算机,按某种预定规则自动传递。下面我们以“员工请假的流程”为例,来为大家介绍什么是工作流。
这个例子包含了一个完整的员工请假流程。从“请假流程开始”,到“员工填写请假条”,再到“部门经理审批”,如果审批不通过,流程回到“员工填写请假条”;如果部门经理审批通过,则流程进入下一个节点;直到最后的流程结束。在Java中,我们可以使用一些框架帮助我们来实现这样的过程。Java的三大主流工作流引擎分别是:Shark,osworkflow,JBPM
关于什么是Oozie,其实Oozie是服务于Hadoop生态系统的工作流调度工具,Job运行平台是区别于其他调度工具的最大的不同。但其实现的思路跟一般调度工具几乎完全相同。Oozie工作流通过HPDL(一种通过XML自定义处理的语言,类似JBOSS JBPM的JPDL)来构造。Oozie工作流中的Action在运程系统运行如(Hadoop,Pig服务器上)。一旦Action完成,远程服务器将回调Oozie的接口 并通知Action已经完成,这时Oozie又会以同样的方式执行工作流中的下一个Action,直到工作流中所有Action都完成(完成包括失败)。Oozie工作流提供各种类型的Action用于支持不同的需要,如Hadoop Map/Reduce,Hadoop File System,Pig,SSH,HTTP,Email,Java以及Oozie子流程。Oozie也支持自定义扩展以上各种类型的Action。
一个正常工作的Oozie系统须包含如下四个模块:Oozie Client、Oozie Server、DataBase和Hadoop集群。
Hadoop 2.4.1
JDK 1.7
Maven 3.5.0
Oozie 4.3
bin/mkdistro.sh -DskipTests -Dhadoop.version=2.4.1
注意:如果第一次安装,Maven会自动下载依赖的jar包,时间可能 会比较长。
设置环境变量:export MAVEN_OPTS="-Xmx512m -XX:MaxPermSize=128m",并且重新编译。
tar -zxvf oozie-4.3.0-distro.tar.gz -C ~/training/
create database oozie;
create user ‘oozieowner‘@‘%‘ identified by ‘password‘;
grant all on oozie.* TO ‘oozieowner‘@‘%‘;
grant all on oozie.* TO ‘oozieowner‘@‘localhost‘ identified by ‘password‘;
(*)创建目录:mkdir /root/training/oozie-4.3.0/libext
(*)将文件ext-2.2.zip和mysql的驱动上传到这个目录
(*)拷贝$HADOOP_HOME/share/hadoop/*/*.jar和$HADOOP_HOME/share/hadoop/*/lib/*.jar到Oozie的libext目录下
(*)由于hadoop和oozie自带的tomcat jar包有冲突,所以需要把冲突的jar包驱动。执行下面的命令:
cd /root/training/oozie-4.3.0/libext
mv servlet-api-2.5.jar servlet-api-2.5.jar.bak
mv jsp-api-2.1.jar jsp-api-2.1.jar.bak
mv jasper-compiler-5.5.23.jar jasper-compiler-5.5.23.jar.bak
mv jasper-runtime-5.5.23.jar jasper-runtime-5.5.23.jar.bak
(*)生成oozie web console的war包:oozie-setup.sh prepare-war
(*)初始化数据库:ooziedb.sh create -sqlfile oozie.sql -run
(*)将不同任务依赖的共享jar包上传到HDFS:
oozie-setup.sh sharelib create -fs hdfs://hadoop111:9000
(*)修改oozie-4.3.0/oozie-server/conf/server.xml,注释掉下面的记录:
oozied.sh start
mr-jobhistory-daemon.sh start historyserver
标签:目录 框架 创建 发送 处理 compile 组织 dir 存在
原文地址:https://blog.51cto.com/collen7788/2507209