码迷,mamicode.com
首页 > 数据库 > 详细

FLUME安装&环境(二):拉取MySQL数据库数据到Kafka

时间:2018-12-13 19:14:48      阅读:222      评论:0      收藏:0      [点我收藏+]

标签:生产   sink   pat   抽取   console   city   10g   存在   etc   

Flume安装成功,环境变量配置成功后,开始进行agent配置文件设置。

 

1.agent配置文件(mysql+flume+Kafka)

#利用Flume将MySQL表数据准实时抽取到Kafka

a1.channels = c1

a1.sinks = k1

a1.sources = s1

 

#sources(mysql)

a1.sources.s1.type = org.keedio.flume.source.SQLSource

a1.sources.s1.channels = c1

a1.sources.s1.connection.url = jdbc:mysql://192.168.121.4:3306/alarm

a1.sources.s1.user = root

a1.sources.s1.password = root

a1.sources.s1.table = alarm_query

a1.sources.s1.columns.to.select = *

a1.sources.s1.incremental.column.name = id

a1.sources.s1.incremental.value = 0

a1.sources.s1.run.query.delay=5000

#source状态写入路径(必须存在且可写入)

a1.sources.s1.status.file.path = /opt/apps/flume-1.6.0-cdh5.14.4-bin

a1.sources.s1.status.file.name = sqlsource.status

 

#channels(memory)

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

#sinks(kafka)

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink

# kfk29,kfk30,kfk31对应主机hosts配置的Kafka主机

a1.sinks.k1.brokerList= D-QP-Safe-4:9092, D-QP-Safe-5:9092, D-QP-Safe-6:9092

a1.sinks.k1.topic=qpdy

a1.sinks.k1.requiredAcks = 1

a1.sinks.k1.batchSize = 2

a1.sinks.k1.channel = c1

 

2.配置准备

2.1创建flume状态写入的文件夹和文件

mkdir  /var/lib/flume

vi s1.status

给文件写入的权力 chmod 777 s1.status

 

2.2将flume内存空间设置增大(开始时没有进行设置,结果报了内存溢出的错误)

在flume启动脚本flume-ng中,修改JAVA_OPTS="-Xmx20m"为JAVA_OPTS="-Xmx10240m"

此处将堆内存的阈值跳转到了10G,实际生产环境中可以根据具体的硬件情况作出调整

2.3添加主机对应的kafka主机

(flume.conf配置文件需要添加主机对应的Kafka主机,否则无法找到对应的sink)

# vim /etc/hosts

#添加主机对应的kafka主机

192.168.241.229    D-QP-Safe-4

192.168.241.230    D-QP-Safe-5

192.168.241.231    D-QP-Safe-6

2.4向flume安装目标的/lib目录下添加启动mysql,Kafka等的jar包

3.启动flume

要在flume的安装目录的bin目录下启动

#启动命令

flume-ng agent -c /opt/apps/flume-1.6.0-cdh5.14.4-bin/conf -f /opt/apps/flume-1.6.0-cdh5.14.4-bin/conf/flume.conf -n a1 -Dflume.root.logger=INFO,console

 

a1为配置的agent名,-c和-f后是flume的安装路径(必须一致才能启动成功)

 

4.查看flume进程

ps -aux | grep flume

如果存在多个进程必须将多余进程kill

为了避免一个个的kill,我们需要提取flume的进程号:

ps -aux | grep flume | awk ‘{print $2}‘

然后全部删除

ps -aux | grep flume | awk ‘{print $2}‘ | xargs kill

以上,拉取mysql数据库数据到Kafka就配置好了

FLUME安装&环境(二):拉取MySQL数据库数据到Kafka

标签:生产   sink   pat   抽取   console   city   10g   存在   etc   

原文地址:https://www.cnblogs.com/koudaiyoutang/p/10115488.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!