基于ZooKeeper和LevelDB搭建ActiveMQ集群官方文档:http://activemq.apache.org/replicated-leveldb-store.html集群原理图:高可用的原理:使用ZooKeeper(集群)注册所有的ActiveMQBroker。只有其中的一个Broker可以提供服务,被视为Master,其他的Broker处于待机状态,被视为..
分类:
数据库 时间:
2017-04-05 18:21:03
阅读次数:
212
原创文章,转载请注明出处:http://jameswxx.iteye.com/blog/2093785 一 机器部署 1.1 机器组成 1台nameserver 1台broker 异步刷盘 2台producer 2台consumer 1.2 硬件配置 CPU 两颗x86_64cpu,每颗cpu12核 ...
分类:
其他好文 时间:
2017-04-03 15:20:38
阅读次数:
265
(声明:本文非EamonSec原创) 使用ZooKeeper实现的Master-Slave实现方式,是对ActiveMQ进行高可用的一种有效的解决方案,高可用的原理:使用ZooKeeper(集群)注册所有的ActiveMQBroker。只有其中的一个Broker可以对外提供服务(也就是Master节 ...
分类:
其他好文 时间:
2017-03-31 00:15:03
阅读次数:
200
1. 相关概念 1/kafka是一个分布式的消息缓存系统2/kafka集群中的服务器都叫做broker3/kafka有两类客户端,一类叫producer(消息生产者),一类叫做consumer(消息消费者),客户端和broker服务器之间采用tcp协议连接4/kafka中不同业务系统的消息可以通过t ...
分类:
其他好文 时间:
2017-03-27 10:48:27
阅读次数:
111
1. kafka的集群中,每一个节点叫做 broker。 2. 通过任一broker可以接入这个集群。 3. 一个topic有多个partition,但是partition不是副本集,如果你往topic里写了100条消息,那么所有partition的数据加起来才是这个100条。写的时候,你可以指定你 ...
分类:
其他好文 时间:
2017-03-22 00:46:38
阅读次数:
133
后台进程 为了实现为多用户提供服务且保证系统性能,在一个多进程 Oracle 系统(multiprocess Oracle system)中,存在多个被称为后台进程(background process)的 Oracle 进程。 一个 Oracle 实例中可以包含多种后台进程,这些进程不一定全部出现 ...
分类:
数据库 时间:
2017-03-22 00:04:16
阅读次数:
251
使用 SASL/PLAIN 认证 1、配置kafka server端(每个broker) vi $KAFKA_HOME/server.properties listeners=SASL_PLAINTEXT://x-x-x-x:9092 security.inter.broker.protocol=S ...
分类:
其他好文 时间:
2017-03-17 16:45:26
阅读次数:
1136
转载地址http://debugo.com/kafka-params/ ############################# System ##############################唯一标识在集群中的ID,要求是正数。broker.id=0#服务端口,默认9092port=9 ...
分类:
其他好文 时间:
2017-03-12 16:27:53
阅读次数:
150
Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化,同时对于分布式系统来说, ...
分类:
其他好文 时间:
2017-03-12 11:02:31
阅读次数:
223
objectHextendsApp{
valconf=newSparkConf().setMaster("local[2]").setAppName("hello")
valss=newStreamingContext(conf,Seconds(5))
valkafkaParams=Map[String,String]("metadata.broker.list"->"myhadoop1:9092")
ss.checkpoint("hdfs://myhadoop1:8020/data")
valtopi..
分类:
其他好文 时间:
2017-03-10 22:30:49
阅读次数:
194