首先感谢 kafka 中国社区 王扬庭例子的帮助和指导~~~~~（kafka_2.9.2-0.8.1.1）kafka常用的发送消息的方法如下：Properties props = new Properties();props.put("zookeeper.connect", "slaves2:218...
分类：
其他好文 时间：
2015-05-19 18:44:14
阅读次数：
199
近日，在测试Flume结合Kafka结合SparkStreaming的实验。今天把Flume与Spark的简单结合做出来了，这里记录一下，避免网友走弯路。有不周到的地方还希望路过的大神多多指教。实验比较简单，分为两部分：一、使用avro-client发送数据二、使用netcat发送数据首先Spark程序需要Flume..
分类：
Web程序 时间：
2015-05-19 07:32:40
阅读次数：
1969
kafka是一个分布式的消息队列由scala编写，不同于传统的一些消息队列，kafka的设计理念与众不同。
1、kafka的特点
。快速
单台kafka的broker实例能够支撑几千台机器每秒几百兆字节的读写，如果组成集群性能会更强进，从很多人的测试情况来看kafka的读写性能表现不输于当前流行的消息队，甚至领先很多。
。扩展性
弹性透明的扩展，不需要停机，kafka的数据是分区的，可以...
分类：
其他好文 时间：
2015-05-18 01:13:38
阅读次数：
389
一、概要 1.1 Storm(简介) ? ? ?Storm是一个实时的可靠地分布式流计算框架。 ? ? ?具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor ...
分类：
其他好文 时间：
2015-05-17 21:59:55
阅读次数：
220
kafka是一个开源的分布式消息队列他提供可靠的集群容错机制，并保证故障切换时的数据完整性。下面简单记录一下安装步骤和常用命令。1、安装http://kafka.apache.org/documentation.html下载压缩包并解压可以解压到 /usr/local/kafka2、配置vim co...
分类：
其他好文 时间：
2015-05-14 23:39:51
阅读次数：
20804
kafka集群部署多机多broker模式环境IP:172.16.1.35zookeeperkafka172.16.1.36zookeeperkafka172.16.1.37zookeeperkafka开放端口2181288838889092编辑server.properties文件(以下为172.16.1.35的配置)#在默认的配置上，我只修改了4个地方。broker.id=三个主机172.16.1.35,172.16..
分类：
其他好文 时间：
2015-05-14 14:29:56
阅读次数：
261
Kafka集群中的一个broker会被作为controller负责管理分区和副本的状态以及执行类似于重分配分区之类的管理任务。如果当前的controller失败了，会从剩下的broker中选出新的controller。一、PartitionLeaderSelector.scala顾名思义就是为分区选...
分类：
其他好文 时间：
2015-05-13 18:42:48
阅读次数：
223
在这里看到的解决方法https://issues.apache.org/jira/browse/SPARK-1729请是个人理解，有问题请大家留言。其实本身flume是不支持像KAFKA一样的发布/订阅功能的，也就是说无法让spark去flume拉取数据，所以老外就想了个取巧的办法。在flume中其...
分类：
Web程序 时间：
2015-05-13 16:04:15
阅读次数：
266
原文:http://calvin1978.blogcn.com/articles/kafkaio.html关于文件IO和cache, 让我们对page cache不再陌生.0. Overview卡夫卡说：不要害怕文件系统。它就那么简简单单地用顺序写的普通文件，借力于Linux内核的Page Cach...
分类：
Web程序 时间：
2015-05-11 10:26:15
阅读次数：
168
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数 据。活跃的流式数据在web网站应用中非常常见，这 些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统...
分类：
其他好文 时间：
2015-05-10 20:14:37
阅读次数：
159
