Kafka集群配置比较简单，为了更好的让大家理解，在这里要分别介绍下面三种配置
单节点：一个broker的集群单节点：多个broker的集群多节点：多broker集群
一、单节点单broker实例的配置
1.首先启动zookeeper服务
Kafka提供了一个简单的zookeeper配置文件来帮助启动zookeeper实例，用下面这个命令即可，首先进入Kafka的安装...
分类：
其他好文 时间：
2014-07-31 20:59:27
阅读次数：
334
收集：各种开源的分布式日志收集系统：Scribe， Flume等等存储可以同时包含各种不同的存储类型，可根据不同的需求增减相应的存储类型：底层存储：能够存储大量的数据，最好具有可扩展性 HDFS S3等等关系存储：MySQL，Postgresql等等键值存储：HBase，Redis等等计算计算能力也...
分类：
其他好文 时间：
2014-07-30 09:48:23
阅读次数：
213
Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.OutOfMemoryError 最近总是被这个错误爆，终于找到了解决方法。 maxOpenFile 默认 5000 ， 调到500后错误不在出现。 详见下面j...
分类：
其他好文 时间：
2014-07-30 01:09:53
阅读次数：
247
本日志由系统自动生成。
从7月14日起便按照心想事成的节奏进入了实验室。打酱油。周末又去学活值班，生活的框架还是很不错的。
1、基于Hadoop的Flume，zooKeeper，这些东西算是明白了个大概。
2、第一周大概学习了javascript、jquery、css、ci框架（php）这些基本的东...
分类：
其他好文 时间：
2014-07-30 00:41:42
阅读次数：
279
1、下载 http://www.apache.org/dist/flume/stable/下载最新的tar.gz包即可2、解压tar -zxvf ....3、配置环境变量FLUME_HOME和PATH记得执行source /etc/profile4、添加一个简单的测试案例a、在conf目录下新建一个...
分类：
其他好文 时间：
2014-07-28 15:07:43
阅读次数：
170
Flume简介
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
系统功能
日志收集
Flume最早是Cloud...
分类：
其他好文 时间：
2014-07-28 14:41:13
阅读次数：
491
阅读背景:您需要对Zk，Kafka有基础的了解 ? ? ?本章主题：详尽的梳理ZkCoordinator的过程 package?com.mixbox.storm.kafka;
import?org.slf4j.Logger;
import?org.slf4j.LoggerFactory;
import?...
分类：
其他好文 时间：
2014-07-23 14:00:16
阅读次数：
343
前言: kafka是linkedin开源的消息队列, 淘宝的metaq就是基于kafka而研发. 而消息队列作为一个分布式组件, 在服务解耦/异步化, 扮演非常重要的角色. 本系列主要研究kafka的思想和使用, 本文主要讲解kafka的一些基本概念和api的使用. *) 准备工作1) 配置ma.....
介绍略 集群安装： 一.准备工作： 1.版本介绍： 目前我们使用版本为kafka_2.9.2-0.8.1（scala-2.9.2为kafka官方推荐版本，此外还有2.8.2和2.10.2可以选择） 2.环境准备： 安装JDK6，目前使用版本为1.6，并配置JAV...
分类：
其他好文 时间：
2014-07-21 10:25:51
阅读次数：
173
