常规的： 1、过早的过滤字段、只选用需要的列、要加分区 2、join 小表放左边 set hive.exec.reducers.max=200; set mapred.reduce.tasks= 200; 增大Reduce个数 set hive.groupby.mapaggr.checkinterv ...
分类：
数据库 时间：
2020-06-22 15:34:57
阅读次数：
75
实验包括：1.使用EMR创建Hadoop集群2.定义schema，创建示例表。3.通过HiveQL分析数据，并将分析结果保存到S3上4.下载已经分析结果数据。Task1：创建一个S3桶创建一个存储桶比如hadoop202006…Task2：创建EMR集群这里我解释一下Hadoop集群中的一些组件，了解大数据的同学直接忽略就好。ApacheHadoop：在分布式服务器集群上存储海量数据并运行分布式分
分类：
其他好文 时间：
2020-06-22 09:17:08
阅读次数：
174
Hive数据查询详解 一、数据准备 为了演示查询操作，这里需要预先创建三张表，并加载测试数据。 数据文件 emp.txt 和 dept.txt 可以从本仓库的resources 目录下载。 1.1 员工表 -- 建表语句 CREATE TABLE emp( empno INT, -- 员工表编号 e ...
分类：
其他好文 时间：
2020-06-22 01:58:21
阅读次数：
87
1.x MapReduce：计算+调度 HDFS：数据存储 Common：辅助工具 2.x MapReduce：计算 Yarn：资源调度 HDFS：数据存储 Common：辅助工具 ...
分类：
其他好文 时间：
2020-06-21 23:45:14
阅读次数：
83
Hadoop 分布式系统基础结构 海量数据存储，海量数据计算 Hadoop指的是Hadoop生态圈 Google=》Hadoop GFS->HDFS Map-Reduce->MR BigTable->HBase Hadoop发行版本 Apache：最基础 Cloudera：大型互联网企业 Horto ...
分类：
其他好文 时间：
2020-06-21 23:10:42
阅读次数：
63
U3D文档释义： SetPass：The number of rendering passes. Each pass requires Unity runtime to bind a new shader which may introduce CPU overhead Batches：“Batch ...
分类：
编程语言 时间：
2020-06-18 21:47:58
阅读次数：
78
01 内容回顾 匿名函数：一句话函数。多与内置函数，列表推导式结合。 内置函数：***加key的。min max sorted map reduce filter 闭包： 内层函数对外层函数非全局变量的使用。 一定要存在嵌套函数中。 作用：保证数据安全。自由变量不会再内存中消失，而且全局还引用不到。 ...
分类：
编程语言 时间：
2020-06-18 21:45:08
阅读次数：
62
看到一些书中在介绍reduce的用法时，有时会将回调函数的第一个参数解释为前一个值(preValue)，这样很可能会误导读者，中欧匠人使reduce的使用变得更加不好理解，本文参考MDN中对reduce的使用说明，用示例展示reduce的使用场景和具体用法，这样相对来说更好理解一些。学习一个单词re ...
分类：
Web程序 时间：
2020-06-18 11:08:49
阅读次数：
69
两种方式 // 使用数组方法reduce去重 var obj = {}; var aa = [{ "name": "aa", "pwd": "xvxv" }, { "name": "aa", "pwd": "xvxv" }, { "name": "bb", "pwd": "xvxv" }, { "n ...
分类：
编程语言 时间：
2020-06-17 11:20:04
阅读次数：
66
1，如果预聚合不影响最终结果，可以使用conbine，提前对数据聚合，减少数据量。 2，使用2次mr的方式。第一次mr，在map输出是给key加上一个前缀，则可以把相同的key分配到不同的reduce聚合，可以实现同一个key数据量大的问题；第二次mr对把第一次mr输出的数据的key去掉前缀，在聚合 ...
分类：
其他好文 时间：
2020-06-16 13:24:44
阅读次数：
54
