ZMQ简介 ZMQ（ØMQ、ZeroMQ, 0MQ）看起来像是一套嵌入式的网络链接库，但工作起来更像是一个并发式的框架。它提供的套接字可以在多种协议中传输消息，如线程间、进程间、TCP、广播等。你可以使用套接字构建多对多的连接模式，如扇出、发布-订阅、任务分发、请求-应答等。ZMQ的快速足以胜任集群 ...
分类：
其他好文 时间：
2017-07-07 10:09:35
阅读次数：
206
一、RabbitMQ简介 RabbitMQ是一个由erlang开发的AMQP（Advanced Message Queue ）的开源实现。AMQP 的出现其实也是应了广大人民群众的需求，虽然在同步消息通讯的世界里有很多公开标准（如 COBAR的 IIOP ，或者是 SOAP 等），但是在异步消息处理 ...
分类：
编程语言 时间：
2017-06-17 21:41:30
阅读次数：
234
Gearman是什么？ 它是分布式的程序调用框架，可完成跨语言的相互调 用，适合在后台运行工作任务。最初是2005年perl版本，2008年发布C/C++版本。目前大部分源码都是（Gearmand服务job Server）C++，各个API实现有各种语言的版本。PHP的Client API与Work ...
分类：
其他好文 时间：
2017-06-09 18:16:58
阅读次数：
291
1. MapReduce 定义: 是一种可用于数据处理的编程的模型 优势: MapReduce 本质上是并行运行的，因此可以将大规模的数据分析任务，分发给任何一个拥有足够多机器的 的数据中心。 MapReduce 的优势在于处理大规模数据集。 过程: (map 和 reduce) 每个阶段都已 键值 ...
分类：
其他好文 时间：
2017-06-02 11:35:53
阅读次数：
150
上周公司其他小组在讨论做分布式爬虫，我也思考了一下，提了一个方案，就是使用akka分布式rpc框架来做，自己写master和worker程序，client向master提交begin任务或者其它爬虫需...
分类：
其他好文 时间：
2017-03-26 22:17:33
阅读次数：
363
proxy server 提供外部公开访问服务 client向proxy server访问时，proxy server分发N个任务调用工作服 而client无需要关心proxy server 如何工作，如服务调度异步还是同步、等侍合并结果、数据过滤去脏等 常用于代理公开访问服务，如数据分析任务分发 ...
分类：
其他好文 时间：
2017-03-22 16:19:41
阅读次数：
160
通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如何运行，以及基于Hadoop数据仓库的构建和分布式数据库内部具体实现。如有不足，后续及时修改。 HDFS的体系架构 整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过 ...
分类：
其他好文 时间：
2017-03-15 00:23:55
阅读次数：
287
一、安装gearman 下载gearman源码包 如: gearmand-1.1.12.tar.gz 下载php的gearman扩展包 如: gearman-1.1.2.tgz 安装gearman 安装gearman的php扩展(建议php版本不要过高，因为php7的gearman扩展目前还没有出来 ...
分类：
Web程序 时间：
2017-03-03 01:48:00
阅读次数：
308
解决了任务分发问题，那么我们可以考虑下一个问题了，机器故障怎么办。首先考虑realsserver故障，我们怎么实时发现rs(realserver)的状态，当检测rs到故障后调度器怎么修改调度规则。然后是考虑dr(director)故障，这就是大问题了一旦故障整个后端服务就全部不可用了，这里我称..
分类：
其他好文 时间：
2017-01-29 23:16:00
阅读次数：
2794
在上篇文章中，我们解决了从发送端（Producer）向接收端（Consumer）发送“Hello World”的问题。在实际的应用场景中，这是远远不够的。从本篇文章开始，我们将结合更加实际的应用场景来讲解更多的高级用法。 当有Consumer需要大量的运算时，RabbitMQ Server需要一定的 ...
分类：
其他好文 时间：
2017-01-15 20:19:33
阅读次数：
319
