1、Azkaban安装部署 azkaban-web-server-2.5.0.tar.gz azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz 2、安装 将安装文件上传到集群,最好上传到安装 spark，hive、 ...
分类：
其他好文 时间：
2018-04-18 18:52:33
阅读次数：
174
区配置： 1.查看时区 2 .修改时区 3 安装mysql 下载MySQL数据脚本（如下有安装MySQL服务可以忽略） 下载然后解压；tar -zxvf azkaban-sql-script-2.5.0.tar.gz 创建用户、分配权限并执行脚本 mysql –u root –pxxxx 创建数据库 ...
分类：
其他好文 时间：
2018-04-04 16:12:07
阅读次数：
337
1．工作流调度工具：（azkaban 和oozie的对比） 调度工具性能对比：Apache Oozie，其配置工作流的过程是编写大量的XML配置，而且代码复杂度比较高，不易于二次开发。ooize相比azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂。如果可以不在意某些功能的缺失， ...
分类：
其他好文 时间：
2018-03-29 18:58:19
阅读次数：
955
一、 基本的离线数据处理架构： 处理框图： 1 2 3 4 5 6 7为离线处理，其中5不一定是Hive（还有Spark SQL等） 6不一定是RDBMS（NoSQL） 执行时，可用调度框架Oozie、Azkaban，指定任务执行的时间 另外一条线是实时处理 拟定项目需求： 互联网日志一般包括有： ...
分类：
数据库 时间：
2018-03-11 14:30:36
阅读次数：
415
为什么需要工作流调度系统? 一个完整的数据分析系统通常都是由大量任务单元组成：shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等? 各任务单元之间存在时间先后及前后依赖关系? 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如，我们可能有这样一个 ...
分类：
其他好文 时间：
2018-01-28 22:32:22
阅读次数：
2337
* Oozie框架基础 官方文档地址：http://oozie.apache.org/docs/4.0.0/DG_QuickStart.html 除Oozie之外，类似的框架还有： ** Zeus：https://github.com/michael8335/zeus2 ** Azkaban：htt ...
分类：
其他好文 时间：
2018-01-12 22:38:25
阅读次数：
614
Azkaban 工作流调度器 1 概述 1.1 为什么需要工作流调度系统 a)一个完整的数据分析系统通常都是由大量任务单元组成，shell脚本程序，java程序，mapreduce程序、hive脚本等。 b)各任务单元之间存在时间先后及前后依赖关系。 c)为了很好地组织起这样的复杂执行计划，需要一个 ...
分类：
其他好文 时间：
2017-12-18 19:00:54
阅读次数：
236
1：工作流调度系统的作用： （1）：一个完整的数据分析系统通常都是由大量任务单元组成：比如，shell脚本程序，java程序，mapreduce程序、hive脚本等；（2）：各任务单元之间存在时间先后及前后依赖关系；（3）：为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； （4 ...
分类：
其他好文 时间：
2017-12-14 15:50:42
阅读次数：
212
1.为什么需要工作流调度系统 2.工作流调度实现方式 azkanban-install: [hadoop@master ~]$ mkdir azkaban [hadoop@master ~]$ tar xf /usr/local/src/azkaban-web-server-2.5.0.tar.gz ...
分类：
其他好文 时间：
2017-12-12 21:50:40
阅读次数：
358
2.1 概述 2.1.1为什么需要工作流调度系统 l 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 l 各任务单元之间存在时间先后及前后依赖关系 l 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； ...
分类：
其他好文 时间：
2017-12-01 18:41:31
阅读次数：
213
