本篇文章持续更新。 这里说坑，也不算坑，只是对我一个经常用SQL Server的来说有点不习惯而已。 一、GroupBy 的不同 根据上面的数据，我们执行如下SQL语句: select CustomerNumber,PayMentDate from Customer group by Custome ...
分类：
数据库 时间：
2019-05-09 23:40:53
阅读次数：
194
Pandas是一款数据分析工具。它内置了大量用于数据分析的方法，如：max、min、sqrt、groupby等。它最基本的数据类型只有Series和DataFrame两种。 1. Series：称为系列，我们可以看作是竖起来的list，相当于Excel表格中的一列。它常见的操作有： 在进行操作之前， ...
分类：
其他好文 时间：
2019-05-06 01:27:43
阅读次数：
142
1.高效使用groupby 提高GROUP BY语句的效率，可以通过将不需要的记录在GROUP BY之前过滤掉。 低效： 高效： 2.在存储过程中使用显式游标 3.避免使用消耗资源的操作 带有DISTINCT，UNION，MINUS，INTERSECT，ORDER BY的SQL语句会启动SQL引擎执 ...
分类：
数据库 时间：
2019-04-26 13:16:32
阅读次数：
198
数据倾斜通常指hive根据key值hash分发到各个节点，相同的key值会分发到一个执行节点中，由于某些key值对应的数据量比其它key值的数据量大很多，导致某些执行节点的运行时间远大于其它节点，从而导致整个job执行时间较长。在hive中执行的sql会有map和reduce两个阶段，map阶段的数据倾斜主要为数据从磁盘读入内存时、join，reduce阶段数据倾斜主要有join、groupby、
分类：
其他好文 时间：
2019-04-15 19:41:06
阅读次数：
257
groupby函数 pandas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作，根据一个或多个键（可以是函数、数组、Series或DataFrame列名）拆分pandas对象，继而计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。 按照T ...
分类：
其他好文 时间：
2019-04-09 18:30:08
阅读次数：
283
当 多条件 left join on 时 LEFT OUTER JOIN on new { u.UserId, ue.ExamId } equals new { sac.UserId, sac.ExamId } into sac2 from sac in sac2.DefaultIfEmpty() ...
分类：
其他好文 时间：
2019-03-25 17:47:09
阅读次数：
527
利用 groupby apply list 分组合并字符 因为需要对数据进行分组和合并字符，找到了以下方法。 有点类似 SQL 的 Group BY。 参考 pandas.DataFrame.groupby https://pandas.pydata.org/pandas docs/stable/r ...
分类：
移动开发 时间：
2019-03-05 09:41:01
阅读次数：
401
DataFrame 类型类似于数据库表结构的数据结构，其含有行索引和列索引，可以将DataFrame 想成是由相同索引的Series组成的Dict类型。在其底层是通过二维以及一维的数据块实现. 1,DataFrame 对象的构建 2指定列的顺序 gendered1 = pd.DataFrame(li ...
分类：
其他好文 时间：
2019-03-04 11:31:47
阅读次数：
153
一、Series 类似于一位数组的对象，第一个参数为数据，第二个参数为索引（索引可以不指定，就默认用隐式索引） 1，索引和切片 2，属性 3，去重 4，加法 索引相同的加在一起，当索引不一致的项，就用NaN填充 5，数据清洗 主要用isnull()判断值是否为空，notnull()判断值是否不为空， ...
分类：
其他好文 时间：
2019-02-21 11:03:11
阅读次数：
216
编写一个 SQL 查询，查找 Person 表中所有重复的电子邮箱。 示例： 根据以上输入，你的查询应返回以下结果： 说明：所有电子邮箱都是小写字母。 解决SQL ...
分类：
数据库 时间：
2019-02-14 20:34:46
阅读次数：
185
