1. Hive数据倾斜原因key分布不均匀业务数据本身的特性SQL语句造成数据倾斜解决方法hive设置hive.map.aggr=true和hive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Jo ...
分类：
其他好文 时间：
2019-12-14 14:08:06
阅读次数：
92
对数据集进行分组并对各组应用一个函数（无论是聚合还是转换），通常是数据分析工作中的重要环节。在将数据集加载、融合、准备好之后，通常是计算分组统计或生成透视表。pandas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。 ...
分类：
编程语言 时间：
2019-12-11 09:38:26
阅读次数：
97
?请定义函数，将列表[10, 1, 2, 20, 10, 3, 2, 1, 15, 20, 44, 56, 3, 2, 1]中的重复元素除去，写出至少3种方法。 # ！/usr/bin/python3 # -*- coding:utf-8 -*- # @Time:2019/12/2 06:00 # ...
分类：
编程语言 时间：
2019-12-09 18:51:11
阅读次数：
74
1、数据查询语言 数据查询语言是SQL中，负责数据查询而不会对数据本身进行修改的语句，DQL是主要的查询数据，本身内核为SELECT,为了精细化查询，加入了各种辅助指令，其主要目的包含SELECT、FROM、WHERE、GROUPBY和ORDERBY SELECT是查询的指令，其语法结构为:SELE ...
分类：
数据库 时间：
2019-12-07 16:18:38
阅读次数：
691
val words:Array[String]=Array("hello tom hello jim","hello hatno hello 菲菲")words.map(x=>x.split(" ")) .flatten .groupBy(x=>x) .map(wdKV=>(wdKV._1,wdKV ...
分类：
其他好文 时间：
2019-12-06 13:47:22
阅读次数：
91
参考：https://www.cnblogs.com/xxswkl/p/11009059.html 1 unique() 统计list中的不同值时，返回的是array.它有三个参数，可分别统计不同的量，返回的都是array. 当list中的元素也是list时，尽量不要用这种方法. import nu ...
分类：
编程语言 时间：
2019-12-04 13:37:05
阅读次数：
1574
一、问题 groupBY分组后取最新一条记录的SQL的解决方案。 二、解决方案 ...
分类：
数据库 时间：
2019-11-27 13:47:23
阅读次数：
269
1. concatenate concatenate函数可以实现对两个张量进行拼接，这个张量可以实一维向量，二维矩阵等等 1. 首先定义四个列表，然后用concatenate把他们拼接起来，这里我设axis=0 name = ['jack', 'ross', 'john', 'blues', 'fr ...
分类：
其他好文 时间：
2019-11-23 17:49:30
阅读次数：
65
group by:分组 GroupBy语句从英文的字面意义上理解就是“根据(by)一定的规则进行分组(Group)”。它的作用是通过一定的规则将一个数据集划分成若干个小的区域，然后针对若干个小区域进行数据处理。 ...
分类：
数据库 时间：
2019-11-22 01:14:19
阅读次数：
84
Hive数据倾斜 key分布不均匀 业务数据本身的特性 SQL语句造成数据倾斜 解决方法 hive设置hive.map.aggr=true和hive.groupby.skewindata=true 还有其他解决方案 Hive内部表和外部表的区别 Hive 创建内部表时，会将数据移动到数据仓库指向的路 ...
分类：
其他好文 时间：
2019-11-17 10:23:34
阅读次数：
94
