1?Kafka操作日志的删除方法 Kafka0.8版本长时间运行过程中,在kafka_2.8.0-0.8.0/logs目录下产生了大量的kafka-request.log.*和server.log.*文件,其中*代表日期和时间,比如kafka-request.log.2014-12-08-03和s...
分类:
其他好文 时间:
2014-12-08 12:37:43
阅读次数:
308
出自:http://my.oschina.net/jinp/blog/350293一些常用命令:storm相关:storm nimbus >/dev/null 2>&1 &storm supervisor >/dev/null 2>&1 &storm ui >/dev/null 2>&1 &关闭st...
分类:
Web程序 时间:
2014-12-08 00:45:15
阅读次数:
346
主要的核心类如下:KafkaServer:根据相关的上下文,创建KafkaServer对象,负责启动broker对象启动过程zkClient初始化=>logManagerstart()=>socketServer
start()=>requestHandlerPool初始化=>replicaManagerstart()=>
kafkaControllerstart()=>topicConfigMa..
分类:
其他好文 时间:
2014-12-03 14:27:44
阅读次数:
208
主要的核心类如下:controller:根据相关的上下文,创建KafkaController对象,引入多个监听器监听broker,topic,partition以及副本的状态变化。ZookeeperLeaderElector:主要负责选举当前broker为lead的过程,同时,如果出现异常情况转移lead选举权。ReplicaStateMachine:主要..
分类:
其他好文 时间:
2014-12-02 12:02:38
阅读次数:
225
akka 并发编程框架
kafka 高吞吐量分布式消息系统
akka 是一个用 Scala 编写的库,用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。
Actor模型并非什么新鲜事物,它由Carl Hewitt于上世纪70年代早期提出,目的是为了解决分布式编程中一系列的编程问题。其特点如下:
...
分类:
其他好文 时间:
2014-12-01 17:37:20
阅读次数:
343
多线程: 生产与消费1.生产者Producer生产produce产品,并将产品放到库存inventory里;同时消费者Consumer从库存inventory里消费consume产品。2.库存inventory的总量(最大库存量100)是有限的。如果库存inventory满了,生产者不能在库存inv...
分类:
编程语言 时间:
2014-11-27 14:12:17
阅读次数:
225
总结一下几种ExchangeTypes。之前写发布/订阅模式时第一次提到了exchange type。即producer不是将消息直接放到队列中,而是先到exchange中,exchange主要用于控制消息到队列的路由,根据具体的exchange type将消息传给需要的队列或者直接废弃。在这一篇中...
分类:
其他好文 时间:
2014-11-23 20:13:14
阅读次数:
226
broker.id整数,建议根据ip区分 log.dirskafka存放消息文件的路径,默认/tmp/kafka-logsportbroker用于接收producer消息的端口 zookeeper.connnectzookeeper连接格式为 ip1:port,ip2:port,ip3:portme...
分类:
其他好文 时间:
2014-11-23 14:25:35
阅读次数:
210
问题现象RocketMQ3.2.2版本,测试时尝试发送消息时自动创建Topic,设置了队列数量为8:producer.setDefaultTopicQueueNums(8);同时设置broker服务器的配置文件broker.properties:defaultTopicQueueNums=16但实际创建后从控制台及后台打印代码观察到该Topic只创建了4个队列,反..
分类:
其他好文 时间:
2014-11-22 02:09:11
阅读次数:
9396