3、clouderaManager安装资源下载 第一步:下载安装资源并上传到服务器 我们这里安装CM5.14.0这个版本,需要下载以下这些资源,一共是四个文件即可 下载cm5的压缩包 下载地址:http://archive.cloudera.com/cm5/cm/5/ 具体文件地址: http:// ...
分类:
其他好文 时间:
2019-07-15 01:41:26
阅读次数:
179
1.Azkaban的安装部署 azkaban的资源下载 http://azkaban.github.io/downloads.html 1.1.配置mysql 1.1.1.修改mysql的编码 (1)启动mysql (2) 登录mysql (3)执行编码显示 (4)在linux下修改mysql配置文 ...
分类:
其他好文 时间:
2019-06-10 13:36:33
阅读次数:
96
一:Kafka概述 离线部分: Hadoop->离线计算(hdfs / mapreduce) yarn zookeeper->分布式协调(动物管理员) hive->数据仓库(离线计算 / sql)easy coding flume->数据采集 sqoop->数据迁移mysql->hdfs/hive ...
分类:
其他好文 时间:
2019-06-04 09:20:50
阅读次数:
124
大数据数据仓库-基于大数据体系构建数据仓库(Hive,Flume,Kafka,Azkaban,Oozie,SparkSQL) ...
分类:
数据库 时间:
2019-05-12 13:36:39
阅读次数:
163
一、hadoop调度框架Linux Crontab Azkaban https://azkaban.github.io/Oozie http://oozie.apache.org/Zeus(阿里的) https://github.com/michael8335/zeus2二、oozie架构1、ooz... ...
分类:
其他好文 时间:
2019-05-09 17:07:55
阅读次数:
177
简单使用 create job 右上角 project创建成功 创建job并上传至该project 将此文件下载到windows上 这里也可以看 查看job内容 查看日志 点击detail,可查看job logs 查看flow log ...
分类:
其他好文 时间:
2019-04-26 11:17:04
阅读次数:
134
本文主要介绍如何在centos系统中安装azkaban 2.5,及相关配置。 ...
分类:
其他好文 时间:
2019-04-16 22:50:37
阅读次数:
305
在使用azkaban作为调度工具的时候,难免遇到只需要跑工作流某部分的情况,这时需要用到停用部分工作的操作, 如图: ...
分类:
其他好文 时间:
2019-04-15 16:15:34
阅读次数:
191
Parameter PassingThere is often a desire to pass these parameters to the executing job code. The method of passing these parameters is dependent on th ...
分类:
其他好文 时间:
2019-04-15 16:10:58
阅读次数:
277
code reviewer之后,需要把dev分支的代码merge到master分支。通过在azkaban的服务器上git pull,最终将代码上线。 git dev 分支merge到master ...
分类:
其他好文 时间:
2019-04-14 18:14:09
阅读次数:
273