大数据任务调度工具azkaban安装的相关文档

注意：这里我们使用的root用户创建的数据库。在生产上我们是单独的创建一个用户，方便管理使用；

还需注意，在azkaban2.5以后不需要自己在引入mysql的驱动包。在lib目录下面存在驱动包。

创建用户名：CREATE USER ‘azkaban‘@‘%‘ IDENTIFIED BY ‘azkaban‘

分配权限：GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,INDEX ON `azkaban`.* TO ‘azkaban‘@‘%‘ WITH GRANT OPTION;

flush privileges；

quit;

通过azkaban账号登录mysql：mysql –uazkaban –pazkaban

Use azkaban;

source ~/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql

4 Azkaban Web Server 安装

   1 下载安装azkaban-web-server-2.5.0.tar.gz

     解压tar包。目录如下

 2 生成SSL 证书

因为azkaban是加密传输，因此要配置ssl 服务。方便网路传输。
关于怎么使用 Java keytool 生成 keystore 文件 在这里可以只简单的生成 keystore 文件，并将生成的 keystore 文件拷贝至 ~/azkaban-web-2.5.0/web 文件下。

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

3 修改 ./conf/azkaban.properties

3 修改 ./conf/azkaban.properties

 

修改首页样式及时区信息

azkaban.name=Job Tasks     

azkaban.label=mysteel workflow

azkaban.color=#FF3601

azkaban.default.servlet.path=/index

web.resource.dir=web/

default.timezone.id=Asia/Shanghai

修改mysql连接,可自行修改

database.type=mysql

mysql.port=3306

mysql.host=192.168.200.184

mysql.database=azkaban

mysql.user=azkaban     

mysql.password=azkaban

mysql.numconnections=100

修改 Jetty 服务器属性，包括 keystore 的相关配置

jetty.maxThreads=25

jetty.ssl.port=8443

jetty.port=8081

jetty.keystore=keystore   最好设置为绝对路劲，防止加载不到

jetty.password=mysteel

jetty.keypassword= mysteel

jetty.truststore=keystore   最好设置为绝对路劲，防止加载不到

jetty.trustpassword= mysteel

修改邮件设置（可选）

mail.sender=xxxxxxx@mysteel.com

               mail.host=smtp.126.com

               mail.user= xxxxxxx@mysteel.com

mail.password=xxx (注:发送邮箱的密码)

  5.用户及权限配置

进入 azkaban web 服务器 conf 目录，修改 azkaban-users.xml ，增加管理员用户：

< azkaban-users>

   < user username="azkaban" password="azkaban" roles="admin"  groups="azkaban" />

   < user username="metrics" password="metrics" roles="metrics"/>

   < user username="admin" password="admin" roles="admin,metrics" />

   < role name="admin" permissions="ADMIN" />

   < role name="metrics" permissions="METRICS"/>< /azkaban-users>

Azkaban Executor Server安装

1.下载安装包

azkaban-executor-server-2.5.0.tar.gz

解压到相对应的文件目录下面。

tar –zxvf  azkaban-executor-server-2.5.0.tar.gz  –C  ~/azkaban/

2.修改配置文件 (conf/azkaban.propreties)

修改时区信息

default.timezone.id=Asia/Shanghai

修改mysql连接,可自行修改

database.type=mysql

mysql.port=3306

mysql.host=192.168.200.184

mysql.database=azkaban

mysql.user=azkaban

mysql.password=azkaban

mysql.numconnections=100

配置端口，默认就好

executor.maxThreads=50

executor.port=12321

executor.flow.threads=30

在web server 的azkaban.properties配置executor的连接，特别注意，如果两个server不是在一台主机上，web server 需要配置executor.host

# Azkaban Executor settings

executor.port=12321

executor.host=ip/hostname

启动验证

启动web server

~/azkaban/azkaban-web-2.5.0/bin/azkaban-web-start.sh（azkaban-web-shutdown.sh停止）

 访问 https://ip:8443   

登录用户名称和密码是上面xml 文件中的用户名称和密码，也可自行配置。

 

出现界面安装成功

启动 executor server

~/azkaban/azkaban-executor-2.5.0/bin/azkaban-exec-start.sh(azkaban-executor-shutdown.sh 停止

至此azkaban安装完成。