1.配置邮件请在azkaban-web-server中进行配置：如下图： /opt/azkaban/azkaban/azkaban-web-server/build/install/azkaban-web-server/conf 注意： 邮件服务器和接受邮件对像使用了QQ邮箱。azkaban可能不支 ...
分类：
其他好文 时间：
2018-09-14 12:46:01
阅读次数：
3668
## 脚本化加载文件与转储### 1、加载数据到原生表#### 1.1 介绍由于每天都会产生大量的日志数据，需要对每天的日志进行加载与清洗以及转储，编写脚本文件后，通过azkaban进行调度即可。#### 1.2 编写load_data_to_hive_raw_logs.sql加载数据到hive原生... ...
分类：
其他好文 时间：
2018-08-31 14:10:01
阅读次数：
170
一、Azkaban简介 Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。简而言之就是一个工作流调度系统。 为什 ...
分类：
其他好文 时间：
2018-08-21 19:39:59
阅读次数：
175
之前对azkaban的研究比较多，现在开个新坑，对Oozie开始深入了解 问题原因：/usr/bin/yum d 0 e 0 y install extjs 很明显，在源中不存在extrs,其实在ambari安装的时候，应该就把extjs加入的，那时候我过于谨慎，没有安装 解决方法：我们进入/var ...
分类：
其他好文 时间：
2018-08-12 20:08:31
阅读次数：
223
HIVE脚本任务 hadoop fs -mkdir -p /aztest/hiveinput hadoop fs -put az.data /aztest/hiveinput/ l 创建job描述文件和hive脚本 Hive脚本： test.sql Job描述文件：hivef.job 2、将所有jo ...
分类：
其他好文 时间：
2018-07-16 19:35:37
阅读次数：
607
HDFS操作任务 1、创建job描述文件 2、将job资源文件打包成zip文件 3、通过Azkaban的web管理平台创建project并上传job压缩包 4、启动执行该job ...
分类：
其他好文 时间：
2018-07-16 18:03:50
阅读次数：
215
azkaban visualize crontab azkaban--docker http://www.jkeabc.com/254015.html azkaban--tips http://opjasee.com/2013/12/06/azkaban-tips.html ...
分类：
其他好文 时间：
2018-06-03 10:46:26
阅读次数：
167
随着平台上的任务越来越多,且部分任务相互依赖,目前使用的crontab定时调度已经无法满足使用需求.急需一个任务依赖调度系统,笔者以前使用过oozie,但是oozie配置过多,而且维护繁琐,属于重量级系统.所以最终我选择使用azkaban.网上关于oozie和azkaban比较的文章很多,有兴趣可以 ...
分类：
其他好文 时间：
2018-05-26 16:45:38
阅读次数：
272
准备下载Azkaban2.5.0:https://azkaban.github.io/downloads.htm 准备插件： 一、MySQL安装与配置 启动数据库并查看状态:sudo service mysqld start sudo service mysqld status 登陆mysql：以r ...
分类：
其他好文 时间：
2018-04-21 12:45:13
阅读次数：
320
Azkaban和Oozie的区别： 当前，实际生产中最流行的两种Hadoop工作流引擎是Azkaban与Oozie。但活跃度最高的当是Azkaban了，下面对两者的异同之处作如下对比。 功能对比 Azkaban和Oozie都可以调用像linux、mapreduce、pig、spark、java等脚本 ...
分类：
其他好文 时间：
2018-04-20 14:32:39
阅读次数：
859
