数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划阶段，Spark 的 Join Selection 类会根 据 Join hints 策略、Join 表的大小、 Join 是等值 Join 还是不等值以及参与 Join 的 key 是否可以排序等条件来选择最 终的 ...
分类：
其他好文 时间：
2021-06-10 18:28:12
阅读次数：
0
ArrayList实现 code import java.util.ArrayList; import java.util.Collections; public class PokerDemo { public static void main(String[] args) { // 使用Arra ...
分类：
编程语言 时间：
2021-06-02 16:52:04
阅读次数：
0
1、列表的排序 a = [1,2,3,4,9,7,6,5,8] a.sort() #默认升序排列，对象不变，元素排序 a.sort(reverse=True) #降序排序 import random #打乱，随机排序 random.shuffle(a) 用法二、 a = sorted(a) #默认升 ...
分类：
编程语言 时间：
2021-04-22 15:55:48
阅读次数：
0
1. 为什么要引入Yarn和Spark。 从开源角度看，YARN的提出，从一定程度上弱化了多计算框架的优劣之争。YARN是在Hadoop MapReduce基础上演化而来的，在MapReduce时代，很多人批评MapReduce不适合迭代计算和流失计算，于是出现了Spark和Storm等计算框架，而 ...
分类：
其他好文 时间：
2021-03-15 11:29:44
阅读次数：
0
背景 在nlp领域，预训练模型bert可谓是红得发紫。 但现在能搜到的大多数都是pytorch写的框架，而且大多都是单输出模型。 所以，本文以 有相互关系的多层标签分类 为背景，用keras设计了多输出、参数共享的模型。 keras_bert基础应用 def batch_iter(data_path ...
分类：
其他好文 时间：
2021-03-08 13:18:36
阅读次数：
0
面试题 一、Hadoop 1.Hadoop面试题总结（一） 2.Hadoop面试题总结（二）——HDFS 3.Hadoop面试题总结（三）——MapReduce 4.Hadoop面试题总结（四）——YARN 5.Hadoop面试题总结（五）——优化问题 二、Zookeeper 1.Zookeeper ...
分类：
其他好文 时间：
2021-03-02 11:41:45
阅读次数：
0
Structured Streaming Structured Streaming 是 Spark Streaming 的进化版 Spark 编程模型的进化过程 总结 RDD 的优点 面向对象的操作方式 可以处理任何类型的数据 RDD 的缺点 运行速度比较慢, 执行过程没有优化 API 比较僵硬, ...
分类：
其他好文 时间：
2021-01-18 11:40:47
阅读次数：
0
js 自定义一个随机函数（不像php直接内置shuffle函数）: function shuffle(arr) { for (var i = arr.length - 1; i >= 0; i--) { var randomIndex = Math.floor(Math.random() * (i ...
分类：
编程语言 时间：
2021-01-16 12:10:18
阅读次数：
0
str_shuffle() 随机打乱一个字符串。 string str_shuffle ( string $str ) 参数描述 str 输入字符串。返回值：返回打乱后的字符串。实例： <?php $str = 'abcdef'; $shuffled = str_shuffle($str); // ...
分类：
Web程序 时间：
2021-01-13 10:40:59
阅读次数：
0
1.转义符（\） 转义符\赋予了一个字符一个特殊的意义，如n变为了\n就表示换行符 1)python中的转义 #在字符串前加r表示取消字符串中的所有转移 print("C:\a.txt") print(r"C:\a.txt") 输出： C:.txt C:\a.txt View Code #在转义符\ ...
分类：
编程语言 时间：
2020-11-08 17:14:26
阅读次数：
21
