采集层 主要可以使用Flume, Kafka两种技术。 Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API. Kafka：Kafka是一个可持久化的分布式的消息队列。 Kafka 是一个非常通用的系统。...
分类：
Web程序 时间：
2014-12-12 13:27:34
阅读次数：
209
MetaQ（全称Metamorphosis）是一个高性能、高可用、可扩展的分布式消息中间件，思路起源于LinkedIn的Kafka，但并不是Kafka的一个Copy。MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性，适用于大吞吐量、顺序消息、广播和日志数据传输等场景，目前在淘宝和支付...
分类：
Web程序 时间：
2014-12-10 22:42:01
阅读次数：
288
一.入门 1.1 简介 Kafka is a distributed, partitioned, replicatedcommit log service. 它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现. kafka对消息保存时根据Topic进行归类,发送...
分类：
其他好文 时间：
2014-12-08 19:27:43
阅读次数：
229
1?Kafka操作日志的删除方法 Kafka0.8版本长时间运行过程中，在kafka_2.8.0-0.8.0/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间，比如kafka-request.log.2014-12-08-03和s...
分类：
其他好文 时间：
2014-12-08 12:37:43
阅读次数：
308
出自：http://my.oschina.net/jinp/blog/350293一些常用命令：storm相关：storm nimbus >/dev/null 2>&1 &storm supervisor >/dev/null 2>&1 &storm ui >/dev/null 2>&1 &关闭st...
分类：
Web程序 时间：
2014-12-08 00:45:15
阅读次数：
346
主要的核心类如下：KafkaServer:根据相关的上下文，创建KafkaServer对象，负责启动broker对象启动过程zkClient初始化=>logManagerstart()=>socketServer
start()=>requestHandlerPool初始化=>replicaManagerstart()=>
kafkaControllerstart()=>topicConfigMa..
分类：
其他好文 时间：
2014-12-03 14:27:44
阅读次数：
208
主要的核心类如下：controller:根据相关的上下文，创建KafkaController对象，引入多个监听器监听broker，topic，partition以及副本的状态变化。ZookeeperLeaderElector：主要负责选举当前broker为lead的过程，同时，如果出现异常情况转移lead选举权。ReplicaStateMachine：主要..
分类：
其他好文 时间：
2014-12-02 12:02:38
阅读次数：
225
akka 并发编程框架
kafka 高吞吐量分布式消息系统
akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。
Actor模型并非什么新鲜事物，它由Carl Hewitt于上世纪70年代早期提出，目的是为了解决分布式编程中一系列的编程问题。其特点如下：
...
分类：
其他好文 时间：
2014-12-01 17:37:20
阅读次数：
343
