hadoop生态圈框架工具甚多，自己整合起来很是繁琐，特别是oozie以及hue结合来实现hive、mr、spark等定时依赖任务更是一步一个坑，为了减少踩坑，只好从apache hadoop，转向CDH。 两个各有利弊，CDH贵在整合方便。本次教程大部分来自http://www.cnblogs.c ...
分类：
其他好文 时间：
2017-03-08 13:45:07
阅读次数：
993
Azkaban是什么?（一） Azkaban的功能特点（二） Azkaban的架构（三） 不多说，直接上干货！ http://www.cnblogs.com/zlslch/category/938837.html 目前，市面上最流行的两种Hadoop工作流引擎调度器Azkaban与Oozie。 具体 ...
分类：
其他好文 时间：
2017-01-18 13:40:36
阅读次数：
255
Azkaban是什么?（一） Azkaban的功能特点（二） 不多说，直接上干货！ http://www.cnblogs.com/zlslch/category/938837.html Azkaban的架构 Azkaban是一种类似于Oozie的工作流控制引擎，可以用来解决多个Hadoop（或Spa ...
分类：
其他好文 时间：
2017-01-18 13:30:56
阅读次数：
153
不多说，直接上干货！ 为此，需要第三方框架。如Azkaban或Oozie! Azkaban https://azkaban.github.io/ 具体，见我的博客，Azkaban概念学习系列。http://www.cnblogs.com/zlslch/category/938837.html Azk ...
分类：
其他好文 时间：
2017-01-18 12:08:31
阅读次数：
181
hourly job 周期生成outputpath,一个小时一个， daily job 检查hourly job的outputpath,检查过去24小时内的每个路径，只有全部路径全部存在才会执行daily任务。 具体参考 https://github.com/yahoo/oozie/wiki/Ooz ...
分类：
其他好文 时间：
2017-01-12 10:23:47
阅读次数：
407
中间件：阿里中间件 文档连接：Hive文档 Hdfs官方 Spark官方 Oozie官方 CDH文档 IDEA文档 About云中文论坛 JavaPlatformSDK Java8懒妹表达式 书单：2015豆瓣书单 豆瓣千人8.0+书单 编程入口：Eclipse servlet jav... ...
分类：
其他好文 时间：
2016-12-30 19:12:46
阅读次数：
231
软件环境：CDH：5.7.3；Oozie：4.1.0-CDH5.7.3 ； Spark：1.6.0-cdh5.7.3-hadoop2.6.0-cdh5.7.3 ； Hadoop：hadoop2.6.0...
分类：
其他好文 时间：
2016-12-25 18:49:30
阅读次数：
251
一：框架 1.支持的框架 -》job -》yarn -》mr1 -》oozie -》HDFS -》查文件 -》文件的管理 -》增删改查 -》hive -》rdbms 二：安装 1.下载hue包 2.需要安装的依赖 3.检测依赖 4.安装依赖包 sudo yum install ant asciido ...
分类：
其他好文 时间：
2016-12-03 01:43:28
阅读次数：
213
环境准备 mave安装 1.下载并上传maven,然后解压 tar -zxvf apache-maven-3.3.9-bin.tar.gz -C /home 2.配置环境变量 vi /etc/profile export MAVEN_HOME=/home/apache-maven-3.3.9 exp ...
分类：
其他好文 时间：
2016-12-02 13:48:34
阅读次数：
299
Oozie 任务调度框架(基于工作流) 任务调度框架 Oozie三大功能 Oozie的架构 Oozie安装部署 ...
分类：
其他好文 时间：
2016-11-24 15:22:39
阅读次数：
282
