spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型，窄依赖和宽依赖。 窄依赖(narrow dependency)：是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类：
其他好文 时间：
2021-06-22 18:39:47
阅读次数：
0
二分查找 对于一个有序的可迭代序列，查找一个元素时，每次都猜中间的那个数，这样一次可以排除掉一半的数据 Python版本 def main(ary, item): low = 0 high = len(ary) - 1 while low <= high: mid_index = (low+high ...
分类：
编程语言 时间：
2021-06-21 21:14:15
阅读次数：
0
1、四大核心函数式接口 接口类型 表现形式 实现方法 说明 消费性接口 Consumer<T> void accept<T t> 参数为 t,无返回值 供给型接口 Supplier<T> T get() 无参数,返回值类型为 T 函数型接口 Function<T,R> R apply(T t) 参数 ...
分类：
编程语言 时间：
2021-06-20 17:43:37
阅读次数：
0
1. MongoDB相关概念 1.1 业务应用场景 传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。 解释：“三高”需求： High performance - 对数据库高并发读写的需求。 Huge Storage - 对海量数据的高效率 ...
分类：
数据库 时间：
2021-06-20 17:35:12
阅读次数：
0
源发行版本11 ，需要与源发行版本一致 源发行版本11 ，需要与源发行版本一致 解决办法: 点击 File > Project Structure > Project 保证 Project SDK 中的java版本 和 Project Language Level 中的java版本 一致，然后点击O ...
分类：
其他好文 时间：
2021-06-18 19:38:46
阅读次数：
0
kafka几圈搭建好了，但当一个节点挂机后整个集群还是不能使用并没有起到集群的作用，这是为什么？ 在新版本Kafka中，__consumer_offsets这个topic是存放消费者偏移量的，但是该主题默认配置副本数量只有1，容易造成单点故障 注：上一篇博客地址https://www.cnblogs ...
分类：
其他好文 时间：
2021-06-18 18:52:34
阅读次数：
0
场景： 以下为已有数据，过滤掉数据中 selectedStatus为false的数据，并生成一组新数据（注意：不能在原数据中进行操作） let treeData = [ { level: 0, parent_id: 0, name: "员工管理", id: 2, status: 1, selecte ...
分类：
Web程序 时间：
2021-06-17 17:05:59
阅读次数：
0
快速排序法 ①先从队尾开始向前扫描且当low < high时,如果a[high] > tmp,则high–,但如果a[high] < tmp,则将high的值赋值给low,即arr[low] = a[high],同时要转换数组扫描的方式,即需要从队首开始向队尾进行扫描了②同理,当从队首开始向队尾进行 ...
分类：
编程语言 时间：
2021-06-17 17:03:32
阅读次数：
0
1、原生集成 # https://github.com/elastic/elasticsearch-py # https://github.com/elastic/elasticsearch-dsl-py # Official low-level client for Elasticsearch # ...
分类：
编程语言 时间：
2021-06-16 17:36:10
阅读次数：
0
https://mp.weixin.qq.com/s/fgi6Xd1Xbs4RJSDGBRcZxQ es7.x以上的版本引用了6.8的elasticsearch-rest-client包会出现java.lang.ClassNotFoundException: org.elasticsearch.cl ...
分类：
编程语言 时间：
2021-06-16 17:31:43
阅读次数：
0
