目的：运行Atlas并使用Azkaban执行操作任务 环境：Centos 6 内存大小：12G 启动下面的任务后还剩内存将近5G 问题： 当mysql_to_hdfs_db和其他job同时运行时集群很容易就会报错 Cannot create GC thread. Out of system reso ...
分类：
其他好文 时间：
2020-04-16 22:28:47
阅读次数：
86
mysql配置问题，导致上传azkaban上传包时出现 已经设置过max_allowed_packet了 innodb 引擎还需设置innodb_log_file_size,这个值默认50m 最终的my.cnf配置如下 参考资料 https://github.com/azkaban/azkaban/ ...
分类：
数据库 时间：
2020-04-15 17:51:51
阅读次数：
122
1-Azkaban介绍 2-Azkaban编译和安装模式 ...
分类：
其他好文 时间：
2020-04-06 10:08:03
阅读次数：
70
Azkaban简单定时任务-使用教程 Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 1.登录Azkaban ...
分类：
其他好文 时间：
2020-03-10 12:18:41
阅读次数：
88
Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 Zookeeper: 218 ...
分类：
Web程序 时间：
2020-03-03 01:09:01
阅读次数：
118
Azkaban安装部署 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.g Azkaban： 用页面 的形式监控任务执行的状态 时间节点。 MySQL 目前az ...
分类：
其他好文 时间：
2020-02-17 15:50:49
阅读次数：
78
一、shell命令 1、后缀.sh 第一行需要加#！/bin/bash 没有的话，需呀sh 命令执行 示例test.sh： #!/bin/bash date ./test.sh 提示没有权限，此时，需要chmod 744 test.sh 二、调度工具 1、airflow 2、azkaban 3、ru ...
分类：
编程语言 时间：
2020-01-29 21:46:52
阅读次数：
114
Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides ...
分类：
其他好文 时间：
2020-01-08 20:48:59
阅读次数：
77
一、概述1、 为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等;各任务单元之间存在时间先后及前后依赖关系;为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如：我们可能有这样一个... ...
分类：
其他好文 时间：
2020-01-07 10:25:31
阅读次数：
92
一，拉取源码构建 git clone https://github.com/azkaban/azkaban.git cd azkaban; ./gradlew build installDist 二，创建数据库，将sql文件导入数据库 CREATE DATABASE azkaban; use azk ...
分类：
其他好文 时间：
2019-12-23 18:33:44
阅读次数：
126
