开窗函数的理解参见: 理解hive中的开窗函数 over()中除了可以使用partition by选择分组字段外, 还有以下函数 order by 排序 指定聚合行的范围, 配合order by使用 current row： 当前行 n PRECEDING： 往前 n 行数据 n FOLLOWING... ...
分类：
其他好文 时间：
2020-06-25 21:54:18
阅读次数：
76
Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。前面已经讨论了Hive和Impala，本节先介绍一下SparkSQL，然后从功能、架构、使用场景几个角度比较这三款产品的异同，最后附上分别由cloudera公司和SAS公司出示的关 ...
分类：
数据库 时间：
2020-06-25 21:29:31
阅读次数：
581
题目一： 我们有如下的用户访问数据 userId visitDate visitCount u01 2017/1/21 5 u02 2017/1/23 6 u03 2017/1/22 8 u04 2017/1/20 3 u01 2017/1/23 6 u01 2017/2/21 8 u02 2017 ...
分类：
其他好文 时间：
2020-06-25 21:23:41
阅读次数：
87
开窗函数简单介绍 与聚合函数一样，开窗函数也是需要对行进行分组, 然后使用聚合算子. 可是它不像普通聚合函数那样每组只返回一个值，而是每一行返回一个窗口的聚合结果. 举例说明 数据如下 hive (default)> select * from over_test; open_test.name o... ...
分类：
其他好文 时间：
2020-06-25 19:37:31
阅读次数：
197
首先 win+x -> 设置 -> 更新和安全 -> 开发者选项 -> 开发者模式 然后 win+r -> 输入control -> 程序 -> 启用或关闭Windows功能 -> 适用于 Linux 的 Windows 子系统 登陆：https://docs.microsoft.com/en-us ...
分类：
系统相关 时间：
2020-06-25 13:57:18
阅读次数：
179
ODS（Operational Data Store）：原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。 在ODS一般需要2个重要的步骤，示例如下： 1.建立ODS层的Hive表。 drop table if exists ods_start_log; CREATE EXTE ...
分类：
其他好文 时间：
2020-06-25 13:53:34
阅读次数：
192
SESSION级别： set param_cd=param_value; beeline --hiveconf param_cd=param_value; 系统级别： 配置hive-site.xml文件(位于$HIVE_HOME/conf)。其中默认的配置都在hive-default.xml.tem ...
分类：
其他好文 时间：
2020-06-25 13:42:35
阅读次数：
59
UI： 用于提交查询的客户端，hive自带有CLI(command line)，现在推荐使用beeline DRIVER： 1.用于接收客户端提交的SQL，并实现了session控制 2.并提供了jdbc/odbc的fetch和execute功能 COMPILER： 编译器，负责解析SQL，并从ME ...
分类：
其他好文 时间：
2020-06-25 11:40:51
阅读次数：
68
这是vulnhub靶机系列文章的第四篇，本次的靶机感觉还是挺有趣的，学到的重要知识点为linux下-mysql的udf提权以及某cms的漏洞getshell，开始吧...靶机下载链接：https://download.vulnhub.com/raven/Raven2.ova #001 环境搭建（na ...
分类：
系统相关 时间：
2020-06-24 20:02:29
阅读次数：
91
数据准备：【1】mysql数据库导出，以逗号间隔，方便后期解析【2】提交服务器：rz 上传到Linux虚拟机中【3】提交到集群中：hadoop fs –put emp.csv /input搁浅：关闭安全模式：hdfs dfsadmin -safemode leave实现简单的输入内容到文件： -ec... ...
分类：
其他好文 时间：
2020-06-24 15:54:09
阅读次数：
61
