什么情况下需要布隆过滤器？ 先来看几个比较常见的例子 字处理软件中，需要检查一个英语单词是否拼写正确 在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上 在网络爬虫里，一个网址是否被访问过 yahoo, gmail等邮箱垃圾邮件过滤功能 这几个例子有一个共同的特点： 如何判断一个元素是否存在一个集合中 ...
分类：
其他好文 时间：
2020-10-27 11:01:11
阅读次数：
45
fink slink 后的数据被复写了？？？ 生产环境总会遇到各种各样的莫名其名的数据，一但考虑不周便是车毁人亡啊。 线上sink 流是es , es 的文档id 是自定义的 id+windowSatarTime 设window size = 10min , watermark 最大延迟时间是 10 ...
分类：
其他好文 时间：
2020-10-22 22:23:47
阅读次数：
26
在上一篇博客当中，我们已经介绍了Flink的容错机制归根结底依赖的是Checkpoint机制，所以本篇博客是该章的核心. 什么是Checkpoint 为了保证state的容错性，Flink需要对state进行checkpoint。 Checkpoint是Flink实现容错机制最核心的功能，它能够根据 ...
分类：
其他好文 时间：
2020-10-06 20:55:32
阅读次数：
31
1.maven依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.co ...
分类：
数据库 时间：
2020-09-24 22:12:38
阅读次数：
88
通常的认识是：Flink 流模式跑流任务，批模式跑批任务，用流模式跑离线任务也是个有意思的事情 虽然新版 Flink 已经在 sql 上实现了一定程度的流批一体，但是 DataStream 和 DataSet API 还是相差比较大的 用 Flink 跑离线任务也是机缘巧合（也是必然，毕竟我不会 S ...
分类：
其他好文 时间：
2020-09-24 21:32:07
阅读次数：
46
在之前解压的flink安装包中，创建一个软链接 ln -s flink-1.8.0 flink 配置flink的环境变量 #flink export FLINK_HOME=/opt/modules/flink export PATH=$FLINK_HOME/bin:$PATH 配置完成后，把flin ...
分类：
其他好文 时间：
2020-09-24 21:19:20
阅读次数：
44
和其他所有的计算框架一样，flink也有一些基础的开发步骤以及基础，核心的API，当前Java版本，从开发步骤的角度来讲，主要分为四大部分 一.Environment 批处理 // 批处理环境 ExecutionEnvironment env = ExecutionEnvironment.getEx ...
分类：
其他好文 时间：
2020-09-21 11:51:19
阅读次数：
45
在flink集群中提交了一个job报错如下大概看出是没有DataNode，这让人很奇怪 通过jps命令在主节点看到了namenode，但是在DataNode端执行jps没有DataNode [root@devopes ~]# jps 5347 TaskManagerRunner 18788 Name ...
分类：
其他好文 时间：
2020-09-18 17:26:11
阅读次数：
71
一.运行架构 1.架构 基于yarn模式 0) Flink任务提交后，Client向HDFS上传Flink的Jar包和配置 1) 向Yarn ResourceManager提交任务， 2) ResourceManager分配Container资源，Yarn通知NodeManager启动Applica ...
分类：
其他好文 时间：
2020-09-18 03:25:46
阅读次数：
38
一致性检查点(checkpoints) flink故障恢复机制的核心，就是应用状态的一致性检查点 有状态流应用的一致性检查点，其实就是所有任务的状态，在某个时间点的一份拷贝(一份快照)；这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时候 从检查点恢复状态 在执行流应用程序期间，flink ...
分类：
其他好文 时间：
2020-09-17 19:08:07
阅读次数：
22
