在学习JDK8新特性Optional类的时候，提到对于Optional的两个操作映射和过滤设计到JDK提供的流式出来。这篇文章便详细的介绍流式处理: 一. 流式处理简介 流式处理给开发者的第一感觉就是让集合操作变得简洁了许多，通常我们需要多行代码才能完成的操作，借助于流式处理可以在一行中实现。比如我 ...
分类：
其他好文 时间：
2018-06-21 17:36:26
阅读次数：
164
近年来，大数据的计算引擎越来越受到关注，spark作为最受欢迎的大数据计算框架，也在不断的学习和完善中。在Spark2.x中，新开放了一个基于DataFrame的无下限的流式处理组件——Structured Streaming，它也是本系列的主角，废话不多说，进入正题吧！ 简单介绍 在有过1.6的s ...
分类：
其他好文 时间：
2018-06-02 17:10:16
阅读次数：
757
伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来， ...
分类：
其他好文 时间：
2018-05-28 11:34:21
阅读次数：
177
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 如果说 2018 年是技术大爆炸年，那么 Apache Kafka 绝对是其中闪亮的新星。 自Kafka 从首发之日起，已经走过了快八个年头。Kafka 已经从最开始的大规模消息系统，发展成为功能完善的分布式流式处理平台，其高性能、可扩展的 ...
分类：
其他好文 时间：
2018-04-11 15:00:47
阅读次数：
220
查询表达式和LINQ to object（上） 本章内容： 流式处理数据和延迟执行序列 标准查询操作符和查询表达式转换 范围变量和透明标识符 投影、过滤和排序 联接和分组 选择要使用的语法 LINQ中的概念介绍 序列 你当然应该对序列这个概念感觉很熟悉： 它通过IEnumerable 和 IEnum ...
随着大数据技术在各行各业的广泛应用，要求能对海量数据进行实时处理的需求越来越多，同时数据处理的业务逻辑也越来越复杂，传统的批处理方式和早期的流式处理框架也越来越难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。在这种形势下，新型流式处理框架Flink通过创造性地把现代大规模并行处理技术应用到流式处理中来，极大地改善了以前的流式处理框架所存在的问题。飞马网于3月13日晚，邀请
分类：
其他好文 时间：
2018-03-16 17:18:16
阅读次数：
129
一、Spark Streaming的介绍 1. 流处理 流式处理(Stream Processing)。流式处理就是指源源不断的数据流过系统时，系统能够不停地连续计算。所以流式处理没有什么严格的时间限制，数据从进入系统到出来结果可能是需要一段时间。然而流式处理唯一的限制是系统长期来看的输出速率应当快 ...
分类：
其他好文 时间：
2018-02-25 19:16:10
阅读次数：
281
Druid 是什么 Druid 单词来源于西方古罗马的神话人物，中文常常翻译成德鲁伊。 本问介绍的Druid 是一个分布式的支持实时分析的数据存储系统（Data Store）。美国广告技术公司MetaMarkets 于2011 年创建了Druid 项目，并且于2012 年晚期开源了Druid 项目。 ...
分类：
其他好文 时间：
2018-01-30 16:53:31
阅读次数：
177
一、前述 Storm是个实时的、分布式以及具备高容错的计算系统，Storm进程常驻内存 ，Storm数据不经过磁盘，在内存中处理。 二、相关概念 1.异步： 流式处理（异步）客户端提交数据进行结算，并不会等待数据计算结果。 2.同步： 实时请求应答服务（同步）客户端提交数据请求之后，立刻取得计算结果 ...
分类：
其他好文 时间：
2018-01-25 20:43:24
阅读次数：
161
Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature（当前：1.0.0-rc0，参见：https://github.com/apache/kafka/releases）,它提供了对存储于Kafka内的数据进行流式处理和分析的功能。其主要特点如下： Kafka S ...
分类：
其他好文 时间：
2017-10-14 20:01:06
阅读次数：
267
