1．工作流调度工具：（azkaban 和oozie的对比） 调度工具性能对比：Apache Oozie，其配置工作流的过程是编写大量的XML配置，而且代码复杂度比较高，不易于二次开发。ooize相比azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂。如果可以不在意某些功能的缺失， ...
分类：
其他好文 时间：
2018-03-29 18:58:19
阅读次数：
955
oozie调度sqoop脚本时，sqoop中使用的sql查询语句，需要使用以下字符串替换操作符，否则会出现各种诡异的错误： ...
分类：
其他好文 时间：
2018-03-24 18:33:05
阅读次数：
178
直接来说操作步骤： 1. 修改.hiverc文件 在hive的conf文件夹下面，如果没有.hiverc文件，手工自己创建一个。 参照如下格式添加： 第一行为自定义jar包存放的路径。 第二行为定义的funtion全类名，并且指定函数名为myexp; 2.上传jar包 将jar包上次到上面的目录中/ ...
分类：
其他好文 时间：
2018-03-13 15:42:22
阅读次数：
212
一、 基本的离线数据处理架构： 处理框图： 1 2 3 4 5 6 7为离线处理，其中5不一定是Hive（还有Spark SQL等） 6不一定是RDBMS（NoSQL） 执行时，可用调度框架Oozie、Azkaban，指定任务执行的时间 另外一条线是实时处理 拟定项目需求： 互联网日志一般包括有： ...
分类：
数据库 时间：
2018-03-11 14:30:36
阅读次数：
415
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...
分类：
其他好文 时间：
2018-02-23 10:44:33
阅读次数：
205
在oozie中有Bundle、Coordinator和Workflow三种类型的job，他们之间可以有以下包含关系。 Bundle > Coordinator > Workflow。 1. 重新运行一个Coordinator job，可以通过如下命令： 2. 如果只想重新运行一个workflow j ...
分类：
其他好文 时间：
2018-01-31 14:19:52
阅读次数：
846
利用oozie，执行sqoop action将DB2中的数据导入到hive分区表中。
实例中遇到了一些坑。。。
分类：
数据库 时间：
2018-01-26 17:12:41
阅读次数：
227
ooziejob执行后 1. job.properties、coordinatior.xml中设置的值都是不可变的，除非将job kill掉，然后重新调度。 2. workflow.xml、script.q等文件可以通过rerun来重新刷新配置 3. 通过sqoop导入时，暂时只能导入hdfs文件， ...
分类：
其他好文 时间：
2018-01-26 14:45:44
阅读次数：
160
Sqoop框架基础 本节我们主要需要了解的是大数据的一些协作框架，也是属于Hadoop生态系统或周边的内容，比如： ** 数据转换工具：Sqoop ** 文件收集库框架：Flume ** 任务调度框架：Oozie ** 大数据Web工具：Hue 这些框架为什么成为主流，请自行百度谷歌，此处不再赘述。 ...
分类：
其他好文 时间：
2018-01-12 22:44:06
阅读次数：
240
