前两天试了下 Flink SQL 写 Hive，对 Sink 部分写数据到 HDFS 的部分比较疑惑，特别是基于 checkpoint 的文件提交，所以看了下 StreamingFileSink 的源码（Flink SQL 写 hive 复用了这部分代码） StreamingFileSink 是 1 ...
分类：
其他好文 时间：
2020-11-01 20:49:03
阅读次数：
18
fink slink 后的数据被复写了？？？ 生产环境总会遇到各种各样的莫名其名的数据，一但考虑不周便是车毁人亡啊。 线上sink 流是es , es 的文档id 是自定义的 id+windowSatarTime 设window size = 10min , watermark 最大延迟时间是 10 ...
分类：
其他好文 时间：
2020-10-22 22:23:47
阅读次数：
26
在上一篇博客当中，我们已经介绍了Flink的容错机制归根结底依赖的是Checkpoint机制，所以本篇博客是该章的核心. 什么是Checkpoint 为了保证state的容错性，Flink需要对state进行checkpoint。 Checkpoint是Flink实现容错机制最核心的功能，它能够根据 ...
分类：
其他好文 时间：
2020-10-06 20:55:32
阅读次数：
31
作用：存取模型 方法： 读取模型： 1 checkpoint_save_path = './checkpoint/Baseline.ckpt' 2 if os.path.exists(checkpoint_save_path+'.index'): 3 print('load exists model ...
分类：
其他好文 时间：
2020-07-24 16:27:37
阅读次数：
51
Checkpoint机制 NameNode负责管理元数据，元数据存在内存中，但在磁盘上有元数据镜像文件FSimage和操作日志文件edits 内存中的元数据和磁盘镜像文件有状态差，状态差体现在操作日志文件中 SecondaryNameNode会定期将NameNode上的操作日志文件下载到本地，跟上一 ...
分类：
其他好文 时间：
2020-07-22 01:46:07
阅读次数：
87
1.问题现象IPS所有更新方式均失败：a)自动更新失败；b)手动触发更新失败；c)离线更新包方式更新同样失败提示信息如下：FailedtoupdateIPSdatabaseIPSUpdatefailed2.尝试解决2.1.SK153732根据sk153732，操作如下：以上解决办法以失败告终2.2.更新Hotfix更新hotfix到最新，仍然失败告终。3.最终解决办法保存如下代码，以.sql结尾(
分类：
其他好文 时间：
2020-07-14 16:47:58
阅读次数：
77
一、视图更换的必要性 视图更换是系统由于Primary出故障而能够保证可用性（liveness）的手段，可用性指操作能够在有效时间内完成。 checkpoint, stable checkpoint the states produced by the excution of these reque ...
分类：
其他好文 时间：
2020-06-30 01:00:19
阅读次数：
89
缓冲池设计的目的是为了协调CPU速度和磁盘速度的鸿沟。因此页的操作首先会缓冲池中进行。如果一条DML语句，如Update或者Delete改变了页中的记录，那么此页是脏页，即缓冲池的页的版本要比磁盘的新。数据库需要将最新版本的页从缓冲池刷新到磁盘。 倘若每次一个页发生变化，就将此页的版本刷新到磁盘，那 ...
分类：
数据库 时间：
2020-06-28 22:34:04
阅读次数：
85
端到端一致性: exactly-once传输过程要保证exactly-once, 需要内部能够实现状态保存, 当下游保存失败时, 能够更加保存的历史状态再次提交数据.而下游接受数据, 需要具备去重能力. 去重有两种方式:幂等写入, 事务写入内部: 支持checkpoint或者状态保存下一级: 数据不... ...
分类：
其他好文 时间：
2020-06-25 19:15:36
阅读次数：
119
InnoDB在什么情况下会触发检查点 checkpoint ？ 一、MySQL的checkpoint分类 1、sharp checkpoint（激烈检查点，要求尽快将所有脏页都刷到磁盘上，对I/O资源的占有优先级高） 2、fuzzy checkpoint（模糊检查点，会根据系统负载及脏页数量适当平衡 ...
分类：
数据库 时间：
2020-06-16 16:53:47
阅读次数：
82
