码迷,mamicode.com
首页 > 其他好文 > 详细

使用Kafka Connect导入/导出数据

时间:2019-11-21 17:15:49      阅读:108      评论:0      收藏:0      [点我收藏+]

标签:存储   wan   sum   集群配置   mat   集成   payload   输出   nbsp   

从控制台写入数据并将其写回到控制台是一个方便的起点,但是您可能要使用其他来源的数据或将数据从Kafka导出到其他系统。对于许多系统,可以使用Kafka Connect导入或导出数据,而无需编写自定义集成代码。

Kafka Connect是Kafka附带的工具,用于将数据导入和导出到Kafka。它是运行连接器的可扩展工具,该 连接器实现用于与外部系统进行交互的自定义??逻辑。在此快速入门中,我们将看到如何使用简单的连接器运行Kafka Connect,该连接器将数据从文件导入到Kafka主题,并将数据从Kafka主题导出到文件。

首先,我们将从创建一些种子数据开始进行测试:

echo -e "foo\nbar" > test.txt

接下来,我们将启动两个以独立模式运行的连接器,这意味着它们将在单个本地专用进程中运行。我们提供了三个配置文件作为参数。第一个始终是Kafka Connect流程的配置,其中包含通用配置,例如要连接的Kafka代理和数据的序列化格式。其余配置文件均指定要创建的连接器。这些文件包括唯一的连接器名称,要实例化的连接器类,以及连接器所需的任何其他配置。

[root@zookeep-kafka-node1 kafka_2.12-2.3.0]#  bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

如报错可以修改connect-standalone.properties文件 bootstrap.servers值改成IP

# These are defaults. This file just demonstrates how to override some settings.
bootstrap.servers=10.23.209.70:9092

# The converters specify the format of data in Kafka and how to translate it into Connect data. Every Connect user will
# need to configure these based on the format they want their data in when loaded from or stored into Kafka

这些示例配置文件(随Kafka一起提供)使用您之前启动的默认本地集群配置,并创建两个连接器:第一个是源连接器,它从输入文件中读取行并将每个行生成到Kafka主题,第二个是宿连接器。从Kafka主题读取消息,并在输出文件中将它们作为一行显示。

在启动过程中,您将看到许多日志消息,其中包括一些表明正在实例化连接器的消息。Kafka Connect流程启动后,源连接器应开始从test.txt主题中读取行并将其生成到主题connect-test,而接收器连接器应开始从主题中读取消息connect-test 并将其写入文件test.sink.txt我们可以通过检查输出文件的内容来验证数据已通过整个管道传递:

[root@zookeep-kafka-node1 kafka_2.12-2.3.0]# more  test.sink.txt 
foo
bar

请注意,数据存储在Kafka主题中connect-test,因此我们也可以运行控制台使用者以查看该主题中的数据(或使用自定义使用者代码进行处理):

[root@zookeep-kafka-node2 kafka_2.12-2.3.0]# bin/kafka-console-consumer.sh --bootstrap-server 10.23.209.71:9092 --topic connect-test --from-beginning
{"schema":{"type":"string","optional":false},"payload":"foo"}
{"schema":{"type":"string","optional":false},"payload":"bar"}

连接器继续处理数据,因此我们可以将数据添加到文件中,并查看它在管道中的移动情况:

[root@zookeep-kafka-node1 kafka_2.12-2.3.0]# echo "hello world" >>test.txt 

您应该看到该行出现在控制台使用者输出和接收器文件中。

[root@zookeep-kafka-node2 kafka_2.12-2.3.0]# bin/kafka-console-consumer.sh --bootstrap-server 10.23.209.71:9092 --topic connect-test --from-beginning
{"schema":{"type":"string","optional":false},"payload":"foo"}
{"schema":{"type":"string","optional":false},"payload":"bar"}
{"schema":{"type":"string","optional":false},"payload":"hello world"}

 

使用Kafka Connect导入/导出数据

标签:存储   wan   sum   集群配置   mat   集成   payload   输出   nbsp   

原文地址:https://www.cnblogs.com/caonw/p/11906394.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!