Kafka实战－KafkaOffsetMonitor1.概述 前面给大家介绍了Kafka的背景以及一些应用场景，并附带上演示了Kafka的简单示例。然后，在开发的过程当中，我们会发现一些问题，那就是消息的监控情况。虽然，在启动Kafka的相关服务后，我们生产消息和消费消息会在终端控制台显示这些记录....
分类：
其他好文 时间：
2015-06-09 23:25:42
阅读次数：
164
该包下只有一个文件：ClientUtils.scala。它是一个object，里面封装了各种client(包括producer，consumer或admin)可能会用到的方法：1. fetchTopicMetadata(producer版本)： producer client会调用该方法来发送一个T...
分类：
其他好文 时间：
2015-06-09 16:42:08
阅读次数：
211
顾名思义，就是kafka的consumer api包。一、ConsumerConfig.scalaKafka consumer的配置类，除了一些默认值常量及验证参数的方法之外，就是consumer的配置参数了，比如group.id, consumer.id等，详细列表见官网。二、ConsumerIt...
分类：
其他好文 时间：
2015-06-09 15:44:20
阅读次数：
552
本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具，如重新分配Partition等。...
分类：
其他好文 时间：
2015-06-09 12:01:25
阅读次数：
124
1.概述 前面给大家介绍了Kafka的背景以及一些应用场景，并附带上演示了Kafka的简单示例。然后，在开发的过程当中，我们会发现一些问题，那就是消息的监控情况。虽然，在启动Kafka的相关服务后，我们生产消息和消费消息会在终端控制台显示这些记录信息，但是，这样始终不够友好，而且，在实际开发中，我....
分类：
其他好文 时间：
2015-06-09 09:48:42
阅读次数：
172
Is Flume a good fit for your problem?If you need to ingest textual log data into Hadoop/HDFS then Flume is the right fit for your problem, full stop. ...
分类：
Web程序 时间：
2015-06-08 16:27:09
阅读次数：
194
Kafka版本是：kafka_2.10-0.8.2.11、maven工程方式在pom.xml中配置kafka依赖12345org.apache.kafkakafka_2.100.8.2.12、普通java工程方式依赖的jar包如下：
分类：
其他好文 时间：
2015-06-08 13:23:12
阅读次数：
126
使用java实现Kafka的生产者123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869pack...
分类：
编程语言 时间：
2015-06-08 13:16:42
阅读次数：
224
使用java实现Kafka的消费者1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071...
分类：
编程语言 时间：
2015-06-08 13:00:25
阅读次数：
257
三台机器：vm1、vm2、vm31、部署zookeeper集群假设已经有一个部署好了的zookeeper集群：zk1、zk2、zk32、下载、解压kafka1tar -xzvf kafka_2.10-0.8.2.1.tgz3、修改vm1上面的config/server.properties1234b...
分类：
其他好文 时间：
2015-06-08 12:58:45
阅读次数：
102
