1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的leader(主节点)？7.Kafa con ...
分类：
其他好文 时间：
2016-05-13 12:38:56
阅读次数：
230
QT采用MQTT协议远程控制LED灯测试环境：mqtt_client(Publish) QT 5.6.0 win10mqtt_client(Subscribe) ubuntu 12.04mqtt_broker mosquitto ubuntu 12.0.4开发QT程序使用了QMQTT library 下载地址效果：QT Client代码：mainwindow.h#ifndef MAINWIND...
分类：
其他好文 时间：
2016-05-12 21:39:32
阅读次数：
329
本文环境如下：
操作系统：CentOS 6 32位
JDK版本：1.8.0_77 32位
Kafka版本：0.9.0.1(Scala 2.11)
接上篇 Kafka单机、集群模式安装详解(一)6. 单节点多Broker模式Kafka使用可以有多种模式，包括单节点单Broker,单节点多Broker,多节点多Broker。
这里我们简单区分一下：
单节点单Broker：在单台机子...
分类：
其他好文 时间：
2016-05-12 17:54:31
阅读次数：
199
摘要
本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具，如重新分配Partition等。
Broker
F...
分类：
其他好文 时间：
2016-05-12 13:27:15
阅读次数：
238
摘要
Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对于Failo...
分类：
其他好文 时间：
2016-05-12 13:19:28
阅读次数：
232
首先先准备一个div
$broker_case.title$
<img...
六、Kafka主要配置
6.1 Broker Config
属性
默认值
描述
broker.id
必填参数，broker的唯一标识
log.dirs
/tmp/kafka-logs
Kafka数据存放的目录。可以指定多个目录，中间用逗号分隔，当新partition被创建的时会被存放到当前存放pa...
分类：
其他好文 时间：
2016-05-12 12:47:53
阅读次数：
145
一、Kafka通信机制的整体结构
74EACA88-8B9D-45F8-B7BF-202D658205A9.png
这个图采用的就是我们之前提到的SEDA多线程模型，链接如下：
http://www.jianshu.com/p/e184fdc0ade4
1、对于broker来说，客户端连接数量有限，不会频繁新建大量连接。因此一个Acceptor thread线程处理新建连接绰绰...
分类：
其他好文 时间：
2016-05-11 11:30:13
阅读次数：
268
主要需要设置的是conf文件夹中的server.properties文件， broker.id,不同的机器节点，使用不同的id号，不能重复。 num.network.threads=8 num.partitions=8 配置环境变量 vi /home/ochadoop/.bash_profile e ...
分类：
其他好文 时间：
2016-05-11 09:25:09
阅读次数：
92
0、环境准备 0.1、linux 0.2、java 0.3、下载apollo二进制包，解压 0.4、创建broker，名字为 userlog {APOLLO_HOME}/bin/apollo create userlog 0.5 启动apollo cd {APOLLO_HOME}/userlog b ...
分类：
其他好文 时间：
2016-05-06 02:07:44
阅读次数：
440
