前面说了Java8的流，这里还说流处理，既然是流，比如水流车流，肯定得有流的源头，源可以有多种，可以自建，也可以从应用端获取，今天就拿非常经典的Kafka做源头来说事，比如要来一套应用日志实时分析框架，或者是高并发实时流处理框架，正是Kafka的拿手好戏。 环境：Idea2019.03/Gradle ...
分类：
其他好文 时间：
2019-12-16 19:31:26
阅读次数：
178
一、flink异步IO概述1.1异步IO的需求?AsyncI/O是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。主要目的是为了解决数据流与外部系统交互时的通信延迟（比如等待外部系统的响应）成为了系统瓶颈的问题。对于实时处理，当需要使用外部存储数据的时候，需要小心对待，不能让与外部系统之间的交互延迟对流处理的整个工作进度起决定性的影响。?例如，在mapfunction等算子里访问外部存
分类：
其他好文 时间：
2019-12-11 11:25:49
阅读次数：
229
简述 WordCount（单词计数）作为大数据体系的标准示例，一直是入门的经典案例，下面用java和scala实现Flink的WordCount代码； 采用IDEA + Maven + Flink 环境；文末附 pom 文件和相关技术点总结； Java批处理版本 运行输出结果如下： Java流处理版 ...
分类：
编程语言 时间：
2019-11-28 19:14:57
阅读次数：
101
一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，
分类：
其他好文 时间：
2019-11-26 09:35:53
阅读次数：
66
阅读目录 一、源码分析 二、流程图 一、源码分析 1 创建logger对象 2 logger.debug() 3 LogRecord(object) 4 Handler(Filterer) 5 StreamHandler(Handler) 流处理 6 FileHandler(Handler) 文件处 ...
分类：
编程语言 时间：
2019-11-23 23:49:38
阅读次数：
93
字符串和文本处理（String and text processing） Convert: 一个可扩展和可配置的类型转换框架 Format: format库提供了一种类型安全的机制，用于根据类似printf的格式字符串格式化参数 Iostreams: Boost.IOStreams 提供了一个定义流 ...
分类：
其他好文 时间：
2019-11-20 22:01:04
阅读次数：
134
浅谈流处理 什么是流处理 流处理是一种大数据处理技术。它使用户能够查询连续数据流，并在从接收数据开始很短的时间内快速检测条件。检测时间从几毫秒到几分钟不等。例如，通过流处理，你可以通过查询来自温度传感器的数据流并检测温度何时达到冻结点来接收警报。 它还有许多名称：实时分析、流分析、复杂事件处理、实时 ...
分类：
其他好文 时间：
2019-11-18 18:32:55
阅读次数：
89
1、概述 1.1、Apache Kafka是一个 分布式 流处理 平台； 2、Kafka适应于什么场景？ 2.1、构造 实时 流数据管道，在 系统 或 应用之间 可靠地获取数据（相当于message queue） 2.2、构建 实时 流式应用程序，对这些流数据进行转换或者影响（流处理，Kafka t ...
分类：
其他好文 时间：
2019-11-12 09:13:21
阅读次数：
84
预定义I/O流类 按流的方向划分 + 输出流 + 输出流 按流的分工划分 + 节点流 + 处理流 按流的内容划分 + 面向字符的流 + 面向字节的流 ...
分类：
编程语言 时间：
2019-11-10 19:20:26
阅读次数：
86
流有哪些分类？ 可以从不同的角度对流进行分类： 1. 处理的数据单位不同，可分为：字符流，字节流 2.数据流方向不同，可分为：输入流，输出流 3.功能不同，可分为：节点流，处理流 一、 节点流：节点流从一个特定的数据源读写数据。即节点流是直接操作文件，网络等的流，例如FileInputStream和 ...
分类：
其他好文 时间：
2019-11-03 20:34:32
阅读次数：
81
