https://kafka.apachecn.org/intro.html 一、kafka能做什么? 构造实时流数据管道,它可以在系统或应用之间可靠地获取数据。 (相当于message queue) 构建实时流式应用程序,对这些流数据进行转换或者影响。 (就是流处理,通过kafka stream t ...
分类:
其他好文 时间:
2021-07-01 17:05:23
阅读次数:
0
IO流原理以及流的分类 流的分类 按操作数据单位不同分为:字节流(8 bit), 字符流(16 bit) 按数据流的流向不同分为:输入流、输出流 按流的角色的不同分为:节点流,处理流 Java的IO流共涉及40多个类,实际上非常规则,都是从如下4个抽象基类派生的。 由这四个类派生出来的子类名称都是以 ...
分类:
编程语言 时间:
2021-06-28 19:40:43
阅读次数:
0
FileInputStream和FileOutStream 测试FileInputstream和FileOutpuStream的使用 结论: 对于文本文件(. txt,.java,.c..cpp),使用字符流处理 对于非文本文件( . jpg ,.mp3, . mp4, .avi,.doc.ppt. ...
分类:
编程语言 时间:
2021-06-28 19:37:54
阅读次数:
0
前端如何处理后台返回的文件流? 处理方法:可以通过转化为blob对象的方式处理,具体方法如下: 1、在请求后台接口时需要把responseType设置为blob格式。 2、前端把后台返回的文件流转化为blob对象,然后利用window.URL.createObjectURL把blob对象转化为url ...
分类:
其他好文 时间:
2021-06-04 18:53:24
阅读次数:
0
Flink 状态 Flink状态: 状态可以是历史结果,也可以是存储的数据,归根揭底是保存的内容就是状态。 流式计算分为有状态的和无状态的: 无状态的流处理:观察每个独立的事件,并根据最后一个事件的结果进行输出。 有状态的流处理:基于多个事件输出结果。流与流之间的关联操作、流与静态表或动态表之间的关 ...
分类:
其他好文 时间:
2021-06-02 20:06:01
阅读次数:
0
0. 参考文档 https://zhuanlan.zhihu.com/p/292151192 1. IO流分类 1.1 分类方式 IO流主要有三种分类方式: 按数据流的方向:输入流、输出流 按处理数据单元:字节流、字符流 按功能:节点流、处理流 1.2 常用流分类 转换流 ? InputStream ...
分类:
其他好文 时间:
2021-05-24 12:52:23
阅读次数:
0
Flink处理函数实战之五:CoProcessFunction(双流处理) 欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等; 欢迎访问我的Git ...
分类:
其他好文 时间:
2021-04-28 12:02:58
阅读次数:
0
1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能,因此它开始出现。因此,引入了Apache Spark,因为它可以实时执行流处理,也可以处理批处理。 除了实 ...
分类:
其他好文 时间:
2021-04-06 15:01:09
阅读次数:
0
参考资料:郝斌老师的Java学习视频 一,流和四大基本抽象流 * 流的定义 流:用于输入输出的类 流:程序和设备之间连接起来的一根用于数据传输的管道,这个管道上有很多按钮,不用的按钮可以实行不同的功能 管道 = 口径 + 方向 * 流的分类 数据的流向| 输入流 处理数据的单位| 字节流 功能 | ...
分类:
其他好文 时间:
2021-04-02 13:26:58
阅读次数:
0
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1)使用mapreduce进行批量离线分析; 2)使用hive进行历史数据的分析; 3)使用hbase进行实时数据的查询; 4)使用storm进行实时的流处理; (2)选用spark的原因 1) 应用于流式计算的S ...
分类:
其他好文 时间:
2021-03-16 13:32:12
阅读次数:
0