码迷,mamicode.com
首页 > 其他好文 > 详细

【Oozie】 Oozie常用命令行命令

时间:2014-09-11 15:25:23      阅读:1972      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   color   io   使用   ar   文件   数据   

Oozie命令行常用命令汇总。

有时候脚本跑多了就不愿意在OozieWeb端去看脚本的运行情况了。还好Oozie提供了很多命令行命令。能通过命令行直接检索自己想看到的脚本信息。在这里简单进行一下总结。一般都是自己每天常用的。

1. 将一个job挂起:oozie job -suspend [jobID]

                 oozie job –suspend 0000244-140909170015500-oozie-hado-W

bubuko.com,布布扣

2. 恢复被挂起的job:oozie job -resume [jobID]

   oozie job –resume 0000244-140909170015500-oozie-hado-W

bubuko.com,布布扣

这两个命令适用于将脚本暂停时使用。

3. 将一个job提交给Oozie(不运行,提交上去之后如果所有运行条件都满足会处于PREP状态):oozie job -config ./job.properties -submit

     oozie job -config./job.properties –submit

bubuko.com,布布扣

4. 启动提交给Oozie的job:oozie job -start [jobID]

 oozie job -start0000258-140909170015500-oozie-hado-W

bubuko.com,布布扣

这两个命令也是一组。eg:有些脚本是操作数据库中数据的,但是数据由于某种原因延迟了,那么就可以将脚本先提交上去。然后等数据到了之后再重新启动。

5. 验证配置文件的正确性:oozie validate ./workflow.xml(coordinator.xml)

     oozie validate workflow.xml

bubuko.com,布布扣

这个命令只能对xml格式的配置文件进行检测。job.properties中的错误是无法进行验证的。如果想验证三个配置文件的正确性,可以使用下面的命令。

6.预检命令:oozie job -config ./job.properties -dryrun

      oozie job -config./job.properties –dryrun

bubuko.com,布布扣


补充一个rerun命令:oozie job -rerun [jobID] -action 1

      oozie job -rerun0000001-140909170015500-oozie-hado-C -action 1 

bubuko.com,布布扣

通过rerun命令可以重跑Coordinator的某一个批次。-action 后面的参数就是指重跑的是Coordinator调度中的第一个批次。

ps:  在使用rerun命令的过程中,我在HDFS上创建的一些标识文件夹(空文件夹,主要是通过这些文件夹来表明脚本是否运行结束)经常莫名的被删除。很多次了都没有找到具体的原因。后来我怀疑是使用rerun命令的原因。可能在使用rerun命令的时候Oozie会对脚本的外部环境进行一下恢复吧。这也仅仅是一个考虑,还没有找到相关的文档说明。遇到相关问题的可以告诉我一声。或者和我讨论 limingji@ebupt.com ^-^


7.查看 job的日志:oozie job -log [jobID]

oozie job –log 0000145-140909170015500-oozie-hado-W

bubuko.com,布布扣

这个命令一般很少用。毕竟这里的log属于事务性的log。真的有问题还要去运行job的机器上去抓日志。


8. 查看job的workflow.xml定义:oozie job -definition [jobID]

      oozie job -definition0000244-140909170015500-oozie-hado-W

bubuko.com,布布扣

9.根据job的类型查看job: oozie jobs -jobtype wf(coordinator)

     oozie jobs -jobtype wf

bubuko.com,布布扣

10. 利用过滤器查看job:oozie jobs  -filter <arg> user=<U>;name=<N>;group=<G>;status=<S>;

oozie jobs -filter user=hadoop;name=LiMingji-2b;status=SUCCEEDED

bubuko.com,布布扣

这个命令是最使用的命令。这样每天就可以通过这个命令过滤掉执行成功的job。让我们专注于失败的job。然后定位问题。

而且这个命令可以和一些其他命令进行组合使用。例如:

 oozie jobs -localtime -len 2 -filter status=SUCCEEDED

bubuko.com,布布扣

其余的一些命令用处不是很大的例如查看oozie 版本的命令,就没有在这里列举。

如果大家还有一些常用的命令,lz没有提到,欢迎进行补充。    limingji@ebupt.com


bubuko.com,布布扣

李洺吉

东信北邮/数据业务产品中心/商业智能部

手机:18001214581   电话:010-82325588@8114

北京市海淀区知春路9号坤讯大厦七一九层



【Oozie】 Oozie常用命令行命令

标签:style   blog   http   color   io   使用   ar   文件   数据   

原文地址:http://blog.csdn.net/limingji0503/article/details/39205521

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!