码迷,mamicode.com
首页 >  
搜索关键字:kafka producer    ( 4768个结果
Erlang 编写 Kafka 客户端之最简单入门
使用erlang连接kafka并发消息。...
分类:其他好文   时间:2014-12-08 17:53:59    阅读次数:215
kafka维护问题总结
1?Kafka操作日志的删除方法 Kafka0.8版本长时间运行过程中,在kafka_2.8.0-0.8.0/logs目录下产生了大量的kafka-request.log.*和server.log.*文件,其中*代表日期和时间,比如kafka-request.log.2014-12-08-03和s...
分类:其他好文   时间:2014-12-08 12:37:43    阅读次数:308
flume、kafka、storm常用命令
出自:http://my.oschina.net/jinp/blog/350293一些常用命令:storm相关:storm nimbus >/dev/null 2>&1 &storm supervisor >/dev/null 2>&1 &storm ui >/dev/null 2>&1 &关闭st...
分类:Web程序   时间:2014-12-08 00:45:15    阅读次数:346
Kafka的broker核心代码设计
主要的核心类如下:KafkaServer:根据相关的上下文,创建KafkaServer对象,负责启动broker对象启动过程zkClient初始化=>logManagerstart()=>socketServer start()=>requestHandlerPool初始化=>replicaManagerstart()=> kafkaControllerstart()=>topicConfigMa..
分类:其他好文   时间:2014-12-03 14:27:44    阅读次数:208
Kafka在controller的代码设计
主要的核心类如下:controller:根据相关的上下文,创建KafkaController对象,引入多个监听器监听broker,topic,partition以及副本的状态变化。ZookeeperLeaderElector:主要负责选举当前broker为lead的过程,同时,如果出现异常情况转移lead选举权。ReplicaStateMachine:主要..
分类:其他好文   时间:2014-12-02 12:02:38    阅读次数:225
akka 与kafka
akka 并发编程框架  kafka 高吞吐量分布式消息系统 akka 是一个用 Scala 编写的库,用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。 Actor模型并非什么新鲜事物,它由Carl Hewitt于上世纪70年代早期提出,目的是为了解决分布式编程中一系列的编程问题。其特点如下: ...
分类:其他好文   时间:2014-12-01 17:37:20    阅读次数:343
[Java基础] java多线程关于消费者和生产者
多线程: 生产与消费1.生产者Producer生产produce产品,并将产品放到库存inventory里;同时消费者Consumer从库存inventory里消费consume产品。2.库存inventory的总量(最大库存量100)是有限的。如果库存inventory满了,生产者不能在库存inv...
分类:编程语言   时间:2014-11-27 14:12:17    阅读次数:225
RabbitMQ - exchange
总结一下几种ExchangeTypes。之前写发布/订阅模式时第一次提到了exchange type。即producer不是将消息直接放到队列中,而是先到exchange中,exchange主要用于控制消息到队列的路由,根据具体的exchange type将消息传给需要的队列或者直接废弃。在这一篇中...
分类:其他好文   时间:2014-11-23 20:13:14    阅读次数:226
kafka配置详解
broker.id整数,建议根据ip区分 log.dirskafka存放消息文件的路径,默认/tmp/kafka-logsportbroker用于接收producer消息的端口 zookeeper.connnectzookeeper连接格式为 ip1:port,ip2:port,ip3:portme...
分类:其他好文   时间:2014-11-23 14:25:35    阅读次数:210
RocketMQ3.2.2生产者发送消息自动创建Topic队列数无法超过4个
问题现象RocketMQ3.2.2版本,测试时尝试发送消息时自动创建Topic,设置了队列数量为8:producer.setDefaultTopicQueueNums(8);同时设置broker服务器的配置文件broker.properties:defaultTopicQueueNums=16但实际创建后从控制台及后台打印代码观察到该Topic只创建了4个队列,反..
分类:其他好文   时间:2014-11-22 02:09:11    阅读次数:9396
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!