Java8 函数式接口 复合lambda表达式 比较器复合 谓词复合 函数复合 流处理 流只能遍历一次。遍历完之后这个流就已经被消费掉了 流的Api 案例 构建流 ...
分类：
编程语言 时间：
2018-06-12 21:01:45
阅读次数：
227
Distributed processing Tool 好处 坏处 类型 支持序列化 支持根据负载动态调度任务 支持c 支持dependency的调度 有成熟的library Actor model 天生支持分布式，本身已经包含基本的serialization功能 比较底层 需要自己编写调度代码 没 ...
分类：
其他好文 时间：
2018-06-11 01:55:26
阅读次数：
213
随着公司业务发展，对大数据的获取和实时处理的要求就会越来越高，日志处理、用户行为分析、场景业务分析等等，传统的写日志方式根本满足不了业务的实时处理需求，所以本人准备开始着手改造原系统中的数据处理方式，重新搭建一个实时流处理平台，主要是基于hadoop生态，利用Kafka作为中转，SparkStrea ...
分类：
其他好文 时间：
2018-06-08 23:16:51
阅读次数：
256
1. 接口 ldap: LDAP库接口 ldap.asyncsearch: 大量搜索结果数据采用流处理 ldap.controls: LDAPv3上层访问扩展控制 ldap.dn: LDAP distinguished 名称处理 ldap.extop: LDAPv3上层访问扩展操作 ldap.fil ...
分类：
编程语言 时间：
2018-06-08 12:00:00
阅读次数：
245
Kafka 入门和 Spring Boot 集成 标签：博客 [TOC] 概述 kafka 是一个高性能的消息队列，也是一个分布式流处理平台（这里的流指的是数据流）。由java 和 Scala 语言编写，最早由 LinkedIn 开发，并 2011年开源，现在由 Apache 开发维护。 应用场景 ...
分类：
编程语言 时间：
2018-06-06 15:53:44
阅读次数：
199
Express默认并不处理HTTP请求体中的数据，对于普通请求体(JSON、二进制、字符串)数据，可以使用body-parser中间件。而文件上传(multipart/form-data请求)，可以基于请求流处理，也可以使用formidable模块或Multer中间件。 1. multer中间件 M ...
分类：
其他好文 时间：
2018-05-28 00:49:03
阅读次数：
555
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文由@从流域到海域翻译，发表于腾讯云+社区 map()和reduce()是在集群式设备上用来做大规模数据处理的方法，用户定义一个特定的映射，函数将使用该映射对一系列键值对进行处理，直接产生出一系列键值对。 Map Reduce和流处理 H ...
分类：
其他好文 时间：
2018-05-16 18:47:15
阅读次数：
240
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文将帮助您使用基于HBase的Apache Spark Streaming。Spark Streaming是Spark API核心的一个扩展，支持连续的数据流处理。 什么是Spark Streaming？ 首先，什么是流（streamin ...
分类：
其他好文 时间：
2018-05-16 18:33:39
阅读次数：
169
一、简介 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是 ...
分类：
其他好文 时间：
2018-05-16 12:52:57
阅读次数：
149
Hadoop系统运行于一个由普通商用服务器组成的计算集群上，该服务器集群在提供大规模分布式数据存储资源的同时，也提供大规模的并行化计算资源。 在大数据处理软件系统上，随着Apache Hadoop系统开源化的发展，在最初包含HDFS、MapReduce、HBase等基本子系统的基础上，至今Hadoo ...
分类：
其他好文 时间：
2018-05-10 19:59:17
阅读次数：
207
