spark 例子倒排索引 例子描述： 【倒排索引(InvertedIndex)】 这个例子是在一本讲spark书中看到的，但是样例代码写的太java化，没有函数式编程风格，于是问了些高手，教我写了份函数式的倒排索引。 这段代码，我在刚开始学的时候很难想到二次拆分数据，所以这个难点挺不错的。 原始数据 ...
分类：
其他好文 时间：
2018-06-14 11:18:30
阅读次数：
141
菜鸟独白 用Python来玩转数据分析实在是太爽了，因为有强大的Pandas来处理数据非常方便，我个人对数据分析情有独钟，探索数据的秘密非常好玩！前段时间写过一篇小白学数据分析入门招式，但是进阶的部分上次没有来得及整理，今天分享给大家。 我们依然用比较有名的泰坦尼克数据集来做示例，通过对这个数据集的 ...
分类：
其他好文 时间：
2018-06-12 12:52:16
阅读次数：
218
一．分组查询1.语法：groupby分组字段1[,分组字段2,.........][having分组后的筛选条件]2.注意：分组字段应该与select后的查询字段一致，否则查询结果无意义3.分组查询经常会与聚合函数一起使用例：（1）先建一张商品表（以此表为例进行分组查询）（2）插入记录（3）查询：#1.计算每一种商品单价的平均价格查询结果：#2.计算日用品种类的平均价格查询结果：二．连接查询1.等
分类：
数据库 时间：
2018-06-07 11:29:08
阅读次数：
221
阅读目录 1、GroupBy与group by 2、Where条件筛选。 3、Select(取list中的id列数据，并按逗号分隔成字符串。例：1,2,3,4,5) 4、Where与Select的同时使用，取list中的id列数据，并按逗号分隔成字符串。 5、左联与内联(例子是DataTable类型 ...
1.shell脚本执行假如是使用当前目录的去执行，你们觉得命令行是什么./xxx.sh2.AleftjoinB，哪个表数据为主A3.分组函数，语法，和过滤的SQL是什么?注意点是什么groupbyhaving过滤条件注意点：查询列要放到groupby里面，函数除外4.子表是怎样理解的?字表就是查询形成的临时表5.表A，有没有见过A表和A表本身自己join关联?有6.把表数据膨胀我们用哪个SQLun
分类：
数据库 时间：
2018-05-22 19:45:27
阅读次数：
183
1.join哪几种leftjoinrightjoininnerjoin2.leftjoin是哪个表数据最全左表3.分组函数有哪些groupby4.分组语法是什么?要注意什么groupbycolumn查询列要放到groupby里面，函数除外5.分组时，过滤的语法having6.排序语法，默认是降序?不是默认是升序7.a表，我想要创建b表，和a表的表结构一模一样，请问怎么创建?（拓展题）createt
分类：
数据库 时间：
2018-05-18 11:32:17
阅读次数：
145
本篇文章主要简介下MySQL中where,groupby,orderby,limit,join,union,unionall,子表等查询语法。测试数据准备createtableemp(empnonumeric(4)notnull,enamevarchar(10),jobvarchar(9),mgrnumeric(4),hiredatedatetime,salnumeric(7,2),commnum
分类：
数据库 时间：
2018-05-14 15:43:29
阅读次数：
196
1.排序语法，默认是降序吗不是默认是升序2.限制多少行语法limit1003.分组函数有哪些groupby4.分组语法是什么groupbycolumn5.分组语法的注意点是什么查询列要放到groupby里面，函数除外6.join有哪几种leftjoin,rightjoin,innerjoin7.leftjoin是哪个表数据全左表8.union和unionall区别是什么union去重，uniona
分类：
数据库 时间：
2018-05-14 14:35:22
阅读次数：
229
数据倾斜： 操作? Join on a.id=b.id? Group by? Count Distinct count(groupby)? 原因? key分布不均导致的? 人为的建表疏忽? 业务数据特点? 症状? 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个） ...
分类：
其他好文 时间：
2018-05-08 21:00:14
阅读次数：
171
