最近一直在看 StreamGraph 生成的源码，刚好有点思路，准备动手了发现，如果不说下 Transformation 后面的 StreamGraph 会差比较多意思，所以先做点铺垫。 ## Transformation Transformation 类是 Flink 转换算子的基类，实现类有下面 ...
分类：
其他好文 时间：
2020-11-08 17:01:29
阅读次数：
21
#!/bin/sh use=`df|grep "/dev/vdb1"|awk '{print $5}'| sed 's/%//g'` if [[ $use -gt 80 ]];then hdfs dfs -rm -r -skipTrash /user/admin/.flink fi; 先编写好she ...
分类：
系统相关 时间：
2020-11-08 16:52:29
阅读次数：
30
app="APACHE-Flink" && country="CN" app="Apache-Shiro" body="Welcome to Burp Suite" 威胁情报 body="miner.start("&&header!="Mikrotik HttpProxy"&&country=CN ...
分类：
其他好文 时间：
2020-11-06 02:32:20
阅读次数：
24
关于概念的东西，其实官网说的很全，对于个人理解就是，flink、spark等等大数据处理平台就是把原来需要我们自己实现的功能，全部框架封装好，像是跨机器的大规模计算、内存/cpu等等资源管理、状态管理(锁还有恢复机制等等）框架全部封装好了，作为开发来说就只需要关心自己要实现的业务就可以了以下内容来自官网，从3个方面介绍Flink：架构ApacheFlink是一个框架和分布式处理引擎，用于在无边界和
分类：
其他好文 时间：
2020-11-06 02:27:17
阅读次数：
21
一、准备工作安装javayuminstalljava-11-openjdk-y[root@localhostopt]#java-versionopenjdkversion"11.0.8"2020-07-14LTSOpenJDKRuntimeEnvironment18.9(build11.0.8+10-LTS)OpenJDK64-BitServerVM18.9(build11.0
分类：
其他好文 时间：
2020-11-06 02:27:05
阅读次数：
20
FlinkStandalone模式部署集群是最简单的一种部署方式，不依赖于其他的组件，另外还支持YARN/Mesos/K8S等模式下的部署Standalone执行架构图：1）client客户端提交任务给Jobmanager2）JobManager负责申请任务运行所需要的资源并管理任务和资源。3）JobManager分发任务给TaskManager执行4）TaskManager定期向JobManag
分类：
其他好文 时间：
2020-11-06 02:26:29
阅读次数：
21
基本概念部分，批处理和流处理的区别批处理在大数据世界有着悠久的历史,比较典型的就是spark。批处理主要操作大容量静态数据集，并在计算过程完成后返回结果。批处理模式中使用的数据集通常符合下列特征：（1）有界：批处理数据集代表数据的有限集合（2）持久：数据通常始终存储在某种类型的持久存储位置中（3）大量：批处理操作通常是处理极为海量数据集的唯一方法批处理非常适合需要访问全套记录才能完成的计算工作。例
分类：
其他好文 时间：
2020-11-06 02:26:18
阅读次数：
29
前两天试了下 Flink SQL 写 Hive，对 Sink 部分写数据到 HDFS 的部分比较疑惑，特别是基于 checkpoint 的文件提交，所以看了下 StreamingFileSink 的源码（Flink SQL 写 hive 复用了这部分代码） StreamingFileSink 是 1 ...
分类：
其他好文 时间：
2020-11-01 20:49:03
阅读次数：
18
上级：https://www.cnblogs.com/hackerxiaoyon/p/12747387.html 每个函数和算子都可以有状态在flink中。状态的函数存储数据通过独立的元素或事件处理。为了让状态具有容错性，flink需要把状态进行快照。检查点允许flink恢复状态和位置在流中，从而是 ...
分类：
其他好文 时间：
2020-10-29 09:52:49
阅读次数：
16
1.序言 Flink在内部以二进制的格式将数据保存，由于普通的Java对象类型和内部二进制格式不一致，需要一套相互转换机制来进行序列化和反序列化。 2.DataStream类型系统 2.1 物理类型 Flink支持的物理类型如下图所示： 分为基础类型、数组类型、复合类型、辅助类型、泛型和其他类型，如 ...
分类：
其他好文 时间：
2020-10-27 11:41:17
阅读次数：
56
