码迷,mamicode.com
首页 > 编程语言 > 详细

python3.5读取kafka中的数据

时间:2017-05-01 01:24:05      阅读:368      评论:0      收藏:0      [点我收藏+]

标签:imp   代码   bsp   hosts   client   类型   logs   color   div   

安装包 pykafka

代码如下:

from pykafka import KafkaClient


client = KafkaClient(hosts="test43:9092")
print(client.topics)
topic = client.topics[brokid]    #topic名称
consumer = topic.get_simple_consumer()
for record in consumer:
    if record is not None:
        valuestr = record.value.decode()   #从bytes转为string类型
        valuedict = eval(valuestr)
        message = valuedict["message"]
        fields = message.split("\u0001")
        for field in fields:
            kv = field.split("\u0002")
            if len(kv) == 2:
                print(kv[0],----,kv[1])
        print(-*100)

 

以上仅供开发测试使用,真正发布到线上需要多地方加固。。。

 

mark

python3.5读取kafka中的数据

标签:imp   代码   bsp   hosts   client   类型   logs   color   div   

原文地址:http://www.cnblogs.com/zhzhang/p/6790801.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!