1 卡夫卡消息队列简介1.1 消息队列1.1.1 基本特性可扩展在不需要下线的情况下进行扩容数据流分区(partition)存储在多个机器上高性能单个broker就能服务上千客户端单个broker每秒种读/写可达每秒几百兆字节多个brokers组成的集群将达到非常强的吞吐能力性能稳定，无论数据多大持久存储存储在磁盘上冗余备份到其他服务器上以防止丢失1.1.2 消息格式一个topic对应一种消息格式...
分类：
其他好文 时间：
2015-09-02 11:58:48
阅读次数：
189
（摘自：http://www.open-open.com/lib/view/open1400126457817.html） ????????单点的ActiveMQ作为企业应用无法满足高可用和集群的需求，所以ActiveMQ提供了master-slave、broker cluster等多种部署方式...
分类：
其他好文 时间：
2015-08-25 13:04:58
阅读次数：
185
1.ActiveMQ?网络桥接 1.1?ActiveMQ传输方式 ActiveMQ?按照通信方式划分：桥接转发和双向通信 1.桥接转发是将消息传递给另外一个ActiveMQ的Broker。 2.双向通信是用一个通道既可以收消息，也可以发消息。 ? ?...
分类：
其他好文 时间：
2015-08-17 17:35:22
阅读次数：
367
首先解释下目标的概念：celery任务消息会由各种途径（比如手动通过python shell触发、通过tornado触发等）发往统一的一个celery broker，然后任务消息会由不同server上的worker去获取并执行。具体点说就是，借助celery消息路由机制，celery broker中开不同的消息队列来接收相应类型的任务消息，然后不同server上开启worker来处理目标消息队列里...
分类：
其他好文 时间：
2015-08-14 19:20:46
阅读次数：
6482
1、日志平台的工作流程多个独立的agent(Shipper)负责收集不同来源的数据，一个中心agent(Indexer)负责汇总和分析数据，在中心agent前的Broker(使用redis实现)作为缓冲区，中心agent后的ElasticSearch用于存储和搜索数据，前端的Kibana提供丰富的图表展示。Shipper表示日志收集..
分类：
其他好文 时间：
2015-08-14 17:18:40
阅读次数：
668
kafka分区及副本在broker的分配部分内容参考自：http://blog.csdn.net/lizhitao/article/details/41778193下面以一个Kafka集群中4个Broker举例，创建1个topic包含4个Partition，2 Replication；数据Producer流动如图所示：
(1)
pic(2)当集群中新增2节点，Partition增加到6个时分布情...
分类：
其他好文 时间：
2015-08-11 18:56:59
阅读次数：
169
QuickFix是FIX协议的一个开源引擎，有多中语言的实现： Java: QuickFIX/J C#: QuickFIX/N C++: Python和Ruby的接口基于C++的版本 最近在学习FIX和QuickFIX，碰到一个问题，broker提供的Demo是基于QuickFIX/J的，可以正常工...
分类：
其他好文 时间：
2015-08-11 15:32:42
阅读次数：
1080
1.发送消息吞吐量的测试：1）单台producer单个进程的发送消息tps2）单台producer多个进程的发送消息tps3）单台broker的接收消息tps，由于单台producer可能压不满，所以需要可能两台producer来发消息2.消费消息吞吐量的测试：1）单台consumer消费消息的tp...
分类：
其他好文 时间：
2015-08-07 10:49:12
阅读次数：
166
DataGuardBroker是一个分布式管理架构用于自动创建、维护和监视dataguard配置。你可以使用OEM(图像化界面)或者DGMGRL(命令行方式)进行以下操作：1。创建和激活dataguard配置，包括设置redotransportservicesandlogapplyservices2。可以在任何系统管理这个配置中的整个dataguard..
分类：
数据库 时间：
2015-08-04 23:12:32
阅读次数：
386
每个kafka broker中配置文件server.properties默认必须配置的属性如下：
[java] view
plaincopy
broker.id=0
num.network.threads=2
num.io.threads=8
socket.send.buffer.bytes=1048576
socket....
分类：
Web程序 时间：
2015-08-04 13:41:59
阅读次数：
116
