什么是Spark Streaming Spark Streaming类似于Apache Storm,用于流式数据的处理 Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitter、ZeroMQ和简单的T ...
分类:
其他好文 时间:
2019-11-21 13:56:11
阅读次数:
103
一、消息队列概述消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ 二、消息队列应用场景以下介绍消息队列在 ...
分类:
其他好文 时间:
2019-11-20 19:18:21
阅读次数:
62
最近在构建一个中间层的通信架构,本来想用dbus,在实验过程中发现dbus对于国产系统支持版本比较低,安装比较麻烦,今天无意中看中了nanomsg,尽管没有dbus那么强悍的生态,但基本能满足需求。 nanomsg是一个轻量级的消息通信组件,是zeromq的作者之一用C语言去重写的通信框架,其无需进 ...
分类:
其他好文 时间:
2019-11-04 00:10:23
阅读次数:
147
SparkStreaming SparkStreaming是一种微批处理,准实时的流式框架。数据来源包括:Kafka, Flume,TCP sockets,Twitter,ZeroMQ等 SparkStreaming与storm的区别: SparkStreaming微批处理数据,storm按条处理数 ...
分类:
其他好文 时间:
2019-11-01 09:47:37
阅读次数:
132
一.常用的消息队列: 1 activemq java,apache 2 rabbitmq c的mq 3 kafuka 大数据mq 4 zeromq 简单版的mq 5 mateMq 基于amqp 6 RocketMQ 阿里 二.mq的使用 1 解压和启动mq activeMq start 三 .mq的 ...
分类:
其他好文 时间:
2019-10-20 13:11:26
阅读次数:
80
linux常用命令(如何查看启动的进程,查看一个线程的堆栈信息。查看一个进程堆的gc情况等) 1、cd命令 这是一个非常基本,也是大家经常需要使用的命令,它用于切换当前目录,它的参数是要切换到的目录的路径,可以是绝对路径,也可以是相对路径。如: cd /root/Docements # 切换到目录/ ...
分类:
其他好文 时间:
2019-10-04 22:30:03
阅读次数:
87
activeMq的简介与安装 ##一,什么是消息中间件 消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间的通信。对于消息中间件,常见的角色大致也就有Producer(生产者)、Consum ...
分类:
其他好文 时间:
2019-09-24 12:30:43
阅读次数:
110
很多人会在saltstack和ansible之间纠结一个问题,,到底是saltstack好,还是ansible好,首先,我们先要意识到他们之间的优缺点,saltstack它是基于zeromq消息系统,能够实现高并发(理论上,一台salt-master可并发一千台minion,在短时内可执行完毕),而ansible是基于ssh,每次请求都需要先建立ssh连接,所以效率低下,但是它不需要安装客户端,而
分类:
其他好文 时间:
2019-09-10 16:15:13
阅读次数:
128
移动设备多了之后不易管理, 如下需求: 1、手机综合控制, 2、实时交互, 3、远程控制; 一、安装过程: 1、首先确认安装基础: 安装db: brew uninstall rethinkdb graphicsmagick zeromq protobuf yasm pkg-config 安装stf: ...
分类:
其他好文 时间:
2019-08-28 01:28:18
阅读次数:
517
http://zguide.zeromq.org/page:all ...
分类:
其他好文 时间:
2019-07-31 22:28:28
阅读次数:
93