Spark Streaming处于Spark生态技术栈中,可以和Spark Core和Spark SQL无缝整合;而Storm相对来说比较单一; (一)概述 Spark Streaming Spark Streaming是Spark的核心API的一个扩展,可以实现高吞吐量、具有容错机制的实时流数据的 ...
分类:
其他好文 时间:
2018-01-23 00:57:38
阅读次数:
191
本文章主要阐述在离线环境下安装zeromq.js的方法和步骤。zeromq.js下载地址: https://www.npmjs.com/package/zeromq或者 https://github.com/zeromq/zeromq.js由于局域网网络限制问题,加上GitHub上的安装说明太简单, ...
分类:
Web程序 时间:
2018-01-21 21:33:19
阅读次数:
320
一、消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ 二、消息队列应用场景以下介绍消息队列 ...
分类:
其他好文 时间:
2018-01-17 12:32:33
阅读次数:
200
ZeroMQ : 扩展性好,开发比较灵活,采用C语言实现,实际上他只是一个socket库的重新封装,如果我们做为消息队列使用,需要开发大量的代码 RabbitMQ :结合erlang语言本身的并发优势,性能较好,但是不利于做二次开发和维护 ActiveMQ: 历史悠久的开源项目,已经在很多产品中得到 ...
分类:
其他好文 时间:
2018-01-17 01:07:36
阅读次数:
131
Kafka作为时下最流行的开源消息系统,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统,Kafka在保障了大部分功能特性的同时,还提供了超一流的读写性能。 针对Kafka性能方面进行简单分析,相关数据请参考:https://segmentfau ...
分类:
其他好文 时间:
2018-01-17 01:05:39
阅读次数:
186
1:Storm作为一个实时处理的框架,产生的消息需要快速的进行处理,比如存在消息队列ZeroMQ里面。 由于消息队列ZeroMQ是C++写的,而我们的程序是运行在JVM虚拟机里面的。所以需要jzmq这个桥梁来黏合C++程序接口和Java程序接口。 ZeroMQ的官方网址:http://zeromq. ...
分类:
其他好文 时间:
2018-01-13 22:20:47
阅读次数:
250
zeromq简介 zeroMQ不是TCP,不是socket,也不是消息队列,而是这些的综合体。 ZeroMQ以嵌入式网络编程库的形式实现了一个并行开发框架(concurrency framework), 能够提供进程内(inproc)、进程间(IPC)、网络(TCP)和广播方式的消息信道, 并支持扇 ...
分类:
其他好文 时间:
2018-01-11 23:49:12
阅读次数:
259
转载自:http://www.coin163.com/good/blog/mq.html 几种MQ产品说明: ZeroMQ : 扩展性好,开发比较灵活,采用C语言实现,实际上他只是一个socket库的重新封装,如果我们做为消息队列使用,需要开发大量的代码 RabbitMQ :结合erlang语言本身 ...
分类:
其他好文 时间:
2017-12-25 17:03:08
阅读次数:
262
Elastic 的底层是开源库 Lucene。但是,你没法直接用 Lucene,必须自己写代码去调用它的接口。Elastic 是 Lucene 的封装,提供了 REST API 的操作接口,开箱即用。Elastic 的底层是开源库 。但是,你没法直接用 Lucene,必须自己写代码去调用它的接口。E ...
分类:
其他好文 时间:
2017-12-09 23:46:15
阅读次数:
210
一、消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,Roc ...
分类:
编程语言 时间:
2017-12-09 15:56:22
阅读次数:
447