0 "相关源码" 掌握Flink中三种常用的Time处理方式，掌握Flink中滚动窗口以及滑动窗口的使用，了解Flink中的watermark。 Flink 在流处理工程中支持不同的时间概念。 1 处理时间(Processing time) 执行相应算子操作的机器的系统时间. 当流程序在处理时间运行 ...
1、处理高并发 1.1高并发处理方案： 缓存 缓存的目的是提升系统访问速度和增大系统处理容量 降级 降级是当服务出现问题或者影响到核心流程时，需要暂时屏蔽掉，待高峰或者问题解决后再打开 限流 限流的目的是通过对并发访问/请求进行限速，或者对一个时间窗口内的请求进行限速来保护系统，一旦达到限制速率则可 ...
分类：
其他好文 时间：
2019-07-17 15:28:47
阅读次数：
289
1.Flink 概述 1.1 流处理技术的演变 在开源世界里，Apache Storm 项目是流处理的先锋。Storm 最早由 Nathan Marz 和创业公司 BackType 的一个团队开发，后来才被 Apache 基金会接纳。Storm 提供 了低延迟的流处理，但是它为实时性付出了一些代价： ...
分类：
其他好文 时间：
2019-07-12 21:18:06
阅读次数：
181
二者仅仅是操作单位不一样。 InputStream和Reader是所有输入流的基类，他们都是抽象类，本身不能创建实例，但是他们是所有输入流的模板。 一般来说处理字符或字符串时使用字符流，处理字节或二进制对象时应使用字节流； 备注：字符流必须关闭资源，因为它中间有缓冲区！而字节流不需要！但是一般都会（ ...
分类：
编程语言 时间：
2019-07-05 09:29:36
阅读次数：
94
本文仅是自己看书、学习过程中的个人总结，刚接触流式，视野面比较窄，不喜勿喷，欢迎评论交流。 1、为什么是流式？ 为什么是流式而不是流式系统这样的词语？流式系统在我的印象中是相对批处理系统而言的，用来处理流数据，实现数据处理功能的一个系统，而流式一词提醒我要以数据产生的方式去看待数据和以及处理过程，即 ...
分类：
其他好文 时间：
2019-07-03 00:21:41
阅读次数：
73
章节详情 第1章 课程导学 第2章 初识实时流处理Storm 第3章 Storm核心概念 第4章 Storm编程 第5章 Storm周边框架使用 第6章 Storm架构及部署 第7章 并行度 第8章 分组策略 第9章 Storm可靠性 第10章 DRPC 第11章 Storm整合其他大数据框架的使用 ...
分类：
编程语言 时间：
2019-07-01 14:12:47
阅读次数：
255
1.Spark概述 Spark 是一个用来实现快速而通用的集群计算的平台。 在速度方面， Spark 扩展了广泛使用的 MapReduce 计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。 在处理大规模数据集时，速度是非常重要的。速度快就意味着我们可以进行交互式的数据操作， 否则我们每 ...
分类：
其他好文 时间：
2019-07-01 10:25:19
阅读次数：
138
一、Scrapy框架入门 1.Scrapy框架介绍 Scrapy是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，其架构清晰，榄块之间的榈合程度低，可扩展性极强，可以灵活完成各种需求。 Engine：引擎,处理整个系统的数据流处理、触发事务,是整个框架的核心。 Item：项目, ...
分类：
编程语言 时间：
2019-06-29 23:47:10
阅读次数：
170
sed 基础介绍 语法格式 sed 处理过程 sed 选项 '-p' 打印输出 ，默认输出两次，流输出一次，源文件输出一次 -n 只显示处理的行，静默模式 通过文件引入规则进行流处理 引入一个文件中定义的规则 -r支持扩展正则表达式 将love替换为like，源文件不修改 之所以没有输出信息，是因为 ...
分类：
系统相关 时间：
2019-06-25 00:25:11
阅读次数：
431
介绍 ApacheKafka®是一个分布式流媒体平台。这到底是什么意思呢？我们认为流媒体平台具有三个关键功能：它可以让你发布和订阅记录流。在这方面，它类似于消??息队列或企业消息传递系统。它允许您以容错方式存储记录流。它可以让您在发生记录时处理记录流。什么是卡夫卡好？它被用于两大类的应用程序：构建可 ...
分类：
其他好文 时间：
2019-06-18 09:15:42
阅读次数：
114
