pyspark有个bug, 虽然下面代码写了 write.mode("overwrite")但是不生效 spark.conf.set("hive.exec.dynamic.partition.mode", "constrict") db_df.repartition(1).write.mode("o ...
分类：
其他好文 时间：
2021-02-23 14:14:20
阅读次数：
0
在围绕Hadoop形成的大数据技术生态当中，MapReduce的地位，在早期是处于核心地位的，但是伴随着数据处理实时性需求的不断提升，更多新的计算框架出现，MapReduce的地位受到压制，但是作为Hadoop原始计算框架，还是需要相应程度的了解和掌握的。今天的大数据入门分享，我们来具体讲一讲Map ...
分类：
其他好文 时间：
2021-02-09 12:33:28
阅读次数：
0
rownum 和 row_number()的区别 一、 Oracle中的rownum 用于从查询返回的行的编号，返回的第一行分配的是1，第二行是2，依次类推。这个伪字段可以用于限制查询返回的总行数，而且rownum不能以任何表的名称作为前缀。 rownum对于等于某值的查询条件 如果希望找到学生表中 ...
分类：
数据库 时间：
2021-02-08 12:51:03
阅读次数：
0
如果提供比较，则使用委托表示的方法对列表中的元素进行排序。如果comparison为null，则抛出ArgumentNullException。 此方法使用数组.排序，其应用自省排序，如下所示： 如果分区大小小于或等于16个元素，则使用插入排序算法 如果分区数超过2logn，其中n是输入数组的范围， ...
每个task处理一个partition，一个文件的大小/128M就是task的数量 Task的最大并发数 当task被提交到executor之后，会根据executor可用的cpu核数，决定一个executor中最多同时运行多少个task。 默认情况下一个task对应cpu的一个核。如果一个exec ...
分类：
其他好文 时间：
2021-02-02 11:14:58
阅读次数：
0
1 RDD基础知识 1.1 Spark的RDD五大特性 1.1.1 A list of partitions RDD是一个由多个partition（某个节点里的某一片连续的数据）组成的的List；将数据加载为RDD时，一般一个hdfs里的block会加载为一个partition。 对于RDD来说，每 ...
分类：
其他好文 时间：
2021-01-25 11:30:09
阅读次数：
0
sql分组排序函数 row_number() over(partition by 分组列 order by 排序列 desc) select tmp.pk_order from(select pk_order, row_number() over(partition by vbillcode ord ...
分类：
数据库 时间：
2021-01-22 12:30:09
阅读次数：
0
DynamoDB supports two types of primary keys: Partition key: A simple primary key, composed of one attribute known as the partition key. Attributes in ...
分类：
其他好文 时间：
2021-01-19 12:30:09
阅读次数：
0
mysql 8.0 新增了窗口函数，与Oracle一样的 MySQL从8.0开始支持窗口函数，这个功能在大多商业数据库和部分开源数据库中早已支持，有的也叫分析函数。 什么叫窗口? 窗口的概念非常重要，它可以理解为记录集合，窗口函数也就是在满足某种条件的记录集合上执行的特殊函数。对于每条记录都要在此窗 ...
分类：
数据库 时间：
2021-01-14 11:22:33
阅读次数：
0
1.分析函数排序 ① row_number() over(partition by xxx order by xxx) 每一组里面编号，不管重复的 ② rank() over(partition by xxx order by xxx) 每一组里面编号，重复的同号，重复的后面会跳号 ③ dense_ ...
分类：
数据库 时间：
2021-01-14 10:47:43
阅读次数：
0
