作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间，...
分类：
其他好文 时间：
2015-03-03 16:51:30
阅读次数：
209
作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间， Michael还提到了将Kafka整合到 Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1.2版...
分类：
其他好文 时间：
2015-03-03 15:11:59
阅读次数：
269
apache下一个版本(1.6)将会带来一个新的组件KafKaChannel，顾名思义就是使用kafka做channel，当然在CDH5.3版本已经存在这个channel。 大伙知道，常用的channel主要有三个： 1、memory channel：用内存做channel，优点是速度最快，...
分类：
Web程序 时间：
2015-03-01 19:38:20
阅读次数：
238
#!/usr/local/bin/ruby?-w
#
#
#
def?call_each
???animals?=?%w{ant?bee?cat?dog?elk}
???for?animal?in?animals
?????yield?animal
???end
end
call_each?{|animal_block|?puts?...
分类：
其他好文 时间：
2015-02-27 15:21:36
阅读次数：
162
broker.id 默认值：无每一个broker都有一个唯一的id，这是一个非负整数，这个id就是broker的"名字"，这样就允许broker迁移到别的机器而不会影响消费者。你可以选择任意一个数字，只要它是唯一的。log.dirs 默认值：/tmp/kafka-logs一个用逗号分隔的目录列表，可...
分类：
其他好文 时间：
2015-02-25 12:57:28
阅读次数：
174
logstash + elasticsearch + Kibana+Redis+Syslog-ng ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使...
分类：
其他好文 时间：
2015-02-13 08:07:25
阅读次数：
2613
KAFKA安装和使用
WINDOWS:
准备软件：kafka_2.11-0.8.2.0.tgz
安装步骤：
1. 创建目录D:\kafka，将kafka_2.11-0.8.2.0.tgz解压到该目录下，解压两份，并重命名为kafka1和kafka2.并在这两个目录下创建文件kafka1/log/logs,
kafka2/log/logs
2. 在D:\kaf...
分类：
其他好文 时间：
2015-02-11 14:43:39
阅读次数：
688
分布式发布订阅消息系统 Kafka 架构设计转自：http://www.oschina.net/translate/kafka-design我们为什么要搭建该系统Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（p...
分类：
其他好文 时间：
2015-02-11 10:49:57
阅读次数：
353
KAFKA分布式消息系统转自：http://blog.chinaunix.net/uid-20196318-id-2420884.htmlKafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击...
分类：
其他好文 时间：
2015-02-11 10:45:49
阅读次数：
160
1、在使用Java API访问之前先在安装有kafka的各个节点启动服务
bin/kafka-server-start.sh config/server.properties &
2、报如下错误
props.put("metadata.broker.list", "storm1:9092,storm2:9092,storm3:9092");
props.put("serializer.cl...
分类：
其他好文 时间：
2015-02-07 18:56:33
阅读次数：
174
