标签:
kafka简介
Kafka由linkedln开发,主要用于处理linkedln的大面积的活跃数据流(active stream)。此类数据经常用于反应网站的一些有用信息,如uv或pv。
它是一个分布式的消息发布和订阅系统,由producer发布,broker存储、consusmer消费组成。
安装为分布式kafka
cd /usr/local
tar -zxvf kafka_2.10-0.8.2.0.tgz
mv kafka_2.10-0.8.2.0 kafka
cd /usr/local/kafka/
启动Kafka自带的ZooKeeper,后台运行
bin/zookeeper-server-start.sh config/zookeeper.properties &
启动Kafka服务,后台运行
bin/kafka-server-start.sh config/server.properties &
创建一个Kafka的主题,连接到本地zk,副本因子1,分区1,主题名是test
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看ZooKeeper上Kafka的主题
bin/kafka-topics.sh --list --zookeeper localhost:2181
查看Kafka的主题详情
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
创建生产者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
创建消费者
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
标签:
原文地址:http://www.cnblogs.com/mengyao/p/4516007.html