标签：des style class blog tar color
刚接触一些Apache Kafka的内容，用了两天时间研究了一下，仅以此文做相关记录，以供学习交流。
概念:
kafka依赖的项：
1. 硬件上，kafka利用线性存储来进行硬盘直接读写。
2. kafka没有使用内存作为缓存。
3. 用zero-copy。
4. Gzip和Snappy压缩，
5. kafka对事务处理比较弱，但是message分发上还是做了一定的策略来保证数据递送的准确性的。
kafka关于存储的几个概念
1. Partition：同一个topic下可以设置多个partition，目的是为了提高并行处理的能力。可以将同一个topic下的message存储到不同的paritition下。
2. Offset：kafka的存储文件都是按照offset.kafka来命名，用offset做名字的好处是方便查找。
在分布式方面：
1. broker的部署是没有主从结构的，每个节点都是同等的，节点的增减和减少都不需要改变任何配置。
2. producer和consumer通过zookeeper去发现topic，并通过zookeeper来协调生产和消费的过程。
3. producer、consumer和broker均采用TCP连接，通信基于NIO实现。并且Producer和consumer能自动检测broker的增加和减少。
broker.id=129 host.name=192.168.128.129 zookeeper.connection=192.168.128.129:2181
roker.id=132 host.name=192.168.128.132 zookeeper.connection=192.168.128.129:2181
133上的kafka配置
broker.id=133 host.name=192.168.128.133 zookeeper.connection=192.168.128.129:2181
bin/zkServer.sh start conf/zoo.cfg
启动129，132，133上的kafka服务
[root@bogon kafka_2.8.0-0.8.1]# nohup bin/kafka-server-start.sh config/server.properties &
在任意机器上建一个topic，因为有三个kafka服务，所以这里replication-factor设为3
bin/kafka-topics.sh --create --zookeeper 192.168.128.129:2181 --replication-factor 3 -partitions 1 --topic 3test Created topic "3test".
查看topic，此时的leader kafka为129，repicas：集群里有三个kafka，Isr：正常使用的kafka
bin/kafka-topics.sh --describe --zookeeper 192.168.128.129:2181 Topic:3test PartitionCount:1 ReplicationFactor:3 Configs: Topic: 3test Partition: 0 Leader: 129 Replicas: 129,132,133 Isr: 129,132,133
在133这台机器上开启一个producer，往132这个kafka发消息
[root@slave-03 kafka_2.8.0-0.8.1]# bin/kafka-console-producer.sh --broker-list 192.168.128.132:9092 --topic 3test this is a message to 132 broker re?
停掉132的kafka，再次查看topics，此时可用的Isr为129和133，leader依然为129，因为129的kafka没有被停过，所以没有重新选举leader
[root@slave-02 kafka_2.8.0-0.8.1]# bin/kafka-topics.sh --describe --zookeeper 192.168.128.129:2181 Topic:3test PartitionCount:1 ReplicationFactor:3 Configs: Topic: 3test Partition: 0 Leader: 129 Replicas: 129,132,133 Isr: 129,133
在129上开启一个consumer
[root@bogon kafka_2.8.0-0.8.1]# bin/kafka-console-consumer.sh --zookeeper 192.168.128.129:2181 --topic 3test --from-beginning this is a message to 132 broker re?
标签：des style class blog tar color
原文地址：http://www.cnblogs.com/younldeace/p/3796580.html
