工程的聚合与依赖 1 聚合 当项目是多模块时，如何一次构建多个模块，而不是要分别到多个模块下分别执行Maven命令。 1.1 父子结构 <!--父模块netsales-poss中的packaging必须为pom--> <packaging>pom</packaging> <!--父模块netsale ...
分类：
其他好文 时间：
2020-06-26 01:39:47
阅读次数：
98
开窗函数的理解参见: 理解hive中的开窗函数 over()中除了可以使用partition by选择分组字段外, 还有以下函数 order by 排序 指定聚合行的范围, 配合order by使用 current row： 当前行 n PRECEDING： 往前 n 行数据 n FOLLOWING... ...
分类：
其他好文 时间：
2020-06-25 21:54:18
阅读次数：
76
开窗函数简单介绍 与聚合函数一样，开窗函数也是需要对行进行分组, 然后使用聚合算子. 可是它不像普通聚合函数那样每组只返回一个值，而是每一行返回一个窗口的聚合结果. 举例说明 数据如下 hive (default)> select * from over_test; open_test.name o... ...
分类：
其他好文 时间：
2020-06-25 19:37:31
阅读次数：
197
一.联集合查询（mysql的跨表查询） 要主要搞清楚那个是主集合，哪个是被查集合 db.主集合.aggregate([ {$lookup: { from: "被查集合", localField: "主集合字段名", foreignField: "被查集合字段名", as: "保存查询的结果字段名” ...
分类：
其他好文 时间：
2020-06-24 23:56:05
阅读次数：
121
一.分组操作 关键字$group 1.和distinct去重的比较 db.getCollection("2020062401").distinct('姓名') 返回的是一个列表 使用￥group分组 db.getCollection("2020062401").aggregate([ { $grou ...
分类：
其他好文 时间：
2020-06-24 21:42:00
阅读次数：
54
聚合函数：对一组值进行计算，并返回计算后的值，具有统计数据的作用 聚合函数特点： 1 除了 COUNT 以外，聚合函数忽略空值。 2 聚合函数经常与 SELECT 语句的 GROUP BY 子句一同使用。 3 所有聚合函数都具有确定性。任何时候用一组给定的输入值调用它们时，都返回相同的值。 4 标量 ...
分类：
其他好文 时间：
2020-06-24 21:23:58
阅读次数：
60
一、课前准备 1. 3节点hadoop集群 2. 安装IDEA 3. 安装maven并配置环境变量 二、课堂主题 1. 围绕MapReduce分布式计算讲解 三、课堂目标 1. 理解MapReduce编程模型 2. 独立完成一个MapReduce程序并运行成功 3. 了解MapReduce工程流程 ...
分类：
其他好文 时间：
2020-06-24 00:32:41
阅读次数：
54
函数 1.hive函数分类 标准函数 自定义标准函数称之为 UDF 传递一行数据，返回一个结果 聚合函数 自定义聚合函数称之为 UDAF 传递多行数据，返回一个结果 group by sum count 表生成函数 自定义表生成函数称之为 UDTF 传递一行数据，返回多行数据 explode 2.函 ...
分类：
其他好文 时间：
2020-06-23 20:54:23
阅读次数：
64
一、简介1.RFC3918简介历史·在1999年3月成为正式标准功能·评测网络互连设备或网络系统的性能·网络设备:交换机，路由器…内容·定义了一整套测试方法，为不同厂家的设备/系统提供了统一的评估标准和报告格式相关文档·RFC2432,TerminologyforIPMulticastBenchmarking·RFC3918,MethodologyforIPMulticastBenchmarkin
分类：
其他好文 时间：
2020-06-23 18:52:37
阅读次数：
55
1、MapReduce是一个经典的分布式批处理计算引擎，被广泛应用于搜索引擎索引构建、大规模数据处理等场景中，具有易于编程、良好的扩展性与容错性以及高吞吐率等特点。它主要由两部分组成：编程模型和运行时环境。其中，编程模型为用户提供了非常易用的编程接口，用户只需像编写串行程序一样实现几个简单的函数即可 ...
分类：
其他好文 时间：
2020-06-23 17:10:23
阅读次数：
48
