标签:style blog http color io 使用 ar 文件 数据
Oozie命令行常用命令汇总。
有时候脚本跑多了就不愿意在OozieWeb端去看脚本的运行情况了。还好Oozie提供了很多命令行命令。能通过命令行直接检索自己想看到的脚本信息。在这里简单进行一下总结。一般都是自己每天常用的。
1. 将一个job挂起:oozie job -suspend [jobID]
oozie job –suspend 0000244-140909170015500-oozie-hado-W
2. 恢复被挂起的job:oozie job -resume [jobID]
oozie job –resume 0000244-140909170015500-oozie-hado-W
这两个命令适用于将脚本暂停时使用。
3. 将一个job提交给Oozie(不运行,提交上去之后如果所有运行条件都满足会处于PREP状态):oozie job -config ./job.properties -submit
oozie job -config./job.properties –submit
4. 启动提交给Oozie的job:oozie job -start [jobID]
oozie job -start0000258-140909170015500-oozie-hado-W
这两个命令也是一组。eg:有些脚本是操作数据库中数据的,但是数据由于某种原因延迟了,那么就可以将脚本先提交上去。然后等数据到了之后再重新启动。
5. 验证配置文件的正确性:oozie validate ./workflow.xml(coordinator.xml)
oozie validate workflow.xml
这个命令只能对xml格式的配置文件进行检测。job.properties中的错误是无法进行验证的。如果想验证三个配置文件的正确性,可以使用下面的命令。
6.预检命令:oozie job -config ./job.properties -dryrun
oozie job -config./job.properties –dryrun
补充一个rerun命令:oozie job -rerun [jobID] -action 1
oozie job -rerun0000001-140909170015500-oozie-hado-C -action 1
通过rerun命令可以重跑Coordinator的某一个批次。-action 后面的参数就是指重跑的是Coordinator调度中的第一个批次。
ps: 在使用rerun命令的过程中,我在HDFS上创建的一些标识文件夹(空文件夹,主要是通过这些文件夹来表明脚本是否运行结束)经常莫名的被删除。很多次了都没有找到具体的原因。后来我怀疑是使用rerun命令的原因。可能在使用rerun命令的时候Oozie会对脚本的外部环境进行一下恢复吧。这也仅仅是一个考虑,还没有找到相关的文档说明。遇到相关问题的可以告诉我一声。或者和我讨论 limingji@ebupt.com ^-^
7.查看 job的日志:oozie job -log [jobID]
oozie job –log 0000145-140909170015500-oozie-hado-W
这个命令一般很少用。毕竟这里的log属于事务性的log。真的有问题还要去运行job的机器上去抓日志。
8. 查看job的workflow.xml定义:oozie job -definition [jobID]
oozie job -definition0000244-140909170015500-oozie-hado-W
9.根据job的类型查看job: oozie jobs -jobtype wf(coordinator)
oozie jobs -jobtype wf
10. 利用过滤器查看job:oozie jobs -filter <arg> user=<U>;name=<N>;group=<G>;status=<S>;
oozie jobs -filter user=hadoop;name=LiMingji-2b;status=SUCCEEDED
这个命令是最使用的命令。这样每天就可以通过这个命令过滤掉执行成功的job。让我们专注于失败的job。然后定位问题。
而且这个命令可以和一些其他命令进行组合使用。例如:
oozie jobs -localtime -len 2 -filter status=SUCCEEDED
其余的一些命令用处不是很大的例如查看oozie 版本的命令,就没有在这里列举。
如果大家还有一些常用的命令,lz没有提到,欢迎进行补充。 limingji@ebupt.com
李洺吉东信北邮/数据业务产品中心/商业智能部手机:18001214581 电话:010-82325588@8114 北京市海淀区知春路9号坤讯大厦七一九层 |
标签:style blog http color io 使用 ar 文件 数据
原文地址:http://blog.csdn.net/limingji0503/article/details/39205521