Kafka Stream-Spark Streaming-Storm流式计算框架比较选型 Kafka Stream-Spark Streaming-Storm流式计算框架比较选型 elasticsearch-headElasticsearch-sql clientNLPchina/elasticse ...
分类：
其他好文 时间：
2018-01-11 15:23:51
阅读次数：
926
怎样算是理解了一套MQ中间件呢？原来一知半解的我列了几个维度：demo跑起来，理解其投递次数的语义，理解其事务的特性等等。这是一种角度，但总有种看山不是山的一知半解的感觉。再问一层，比如为什么Kafka吞吐量远胜于其他中间件，为什么说适合日志采集和流式计算的场景？就回答不上来了。学习终归是个积累的过 ...
分类：
其他好文 时间：
2017-12-05 00:54:24
阅读次数：
658
分布式系统实践 1. 流计算框架 Flink 与 Storm 的性能对比 https://mp.weixin.qq.com/s/b8Jiqj_SXM1acckTPyv57g 摘要: 很详细的一个性能测试对比, 让我们更清楚的了解storm和flink的性能差异, 加深对流式计算系统的理解. 2. 在 ...
分类：
其他好文 时间：
2017-12-01 23:27:48
阅读次数：
204
流式（streaming）和批量（ batch）：流式数据，实际上更准确的说法应该是unbounded data(processing)，也就是无边界的连续的数据的处理；对应的批量计算，更准确的说法是bounded data(processing)，亦即有明确边界的数据的处理。 近年来流式计算框架编 ...
分类：
其他好文 时间：
2017-10-14 19:49:00
阅读次数：
209
Structured Streaming （结构化流）是一种基于 Spark SQL 引擎构建的可扩展且容错的 stream processing engine （流处理引擎）。您可以以静态数据表示批量计算的方式来表达 streaming computation （流式计算）。 Spark SQL ... ...
分类：
Web程序 时间：
2017-09-26 21:17:57
阅读次数：
254
1、背景-流式计算与storm 2011年在海量数据处理领域，Hadoop是人们津津乐道的技术，hadoop不仅可以用来存储海量数据，还以用来计算海量数据。因为其高吞吐、高可靠等特点，很多互联网公司都已经使用Hadoop来构建数据仓库，高频使用并促进了Hadoop生态圈的各项技术的发展。一般来讲，根 ...
分类：
其他好文 时间：
2017-08-30 15:49:18
阅读次数：
206
转载的，原文：http://www.cnblogs.com/intsmaze/p/6386616.html Kafka概念入门（一） 序：如何保证kafka全局消息有序？ 比如，有100条有序数据，生产者发送到kafka集群，kafka的分片有4个，可能的情况就是一个分片保存0-25，一个保存25- ...
分类：
其他好文 时间：
2017-08-25 15:54:44
阅读次数：
163
我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的，而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，这种情况下显然用批量处理是不合适的，如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉，应对这种情况，使用kafka作为消息队 ...
分类：
其他好文 时间：
2017-08-11 11:04:34
阅读次数：
210
一.什么是实时计算系统?(流式计算)1.离线计算和实时计算 离线计算 实时计算(流式计算) 典型代表 mapReduce Apache Strom，Spark Streaming 和JStream 数据 HDFS上 实时数据 采集数据 Sqoop(批量导入) Flume进行采集 保存结果 HDFS ...
分类：
Web程序 时间：
2017-07-15 10:04:17
阅读次数：
253
权作《Spark快速大数据分析》学习笔记 定义：Spark是一个用来实现 快速 而 通用 的集群计算平台；（通用的大数据处理引擎；） 改进了原Hadoop MapReduce处理模型，体现在三方面： a. 速度；（内存计算） b. 不仅支持批处理，还支持交互式查询(速度快的成果)、流式计算、机器学习 ...
分类：
其他好文 时间：
2017-07-02 16:20:16
阅读次数：
234
