1. 前置条件: 之前已经搭好了带有HDFS, MapReduce,Yarn 的 Hadoop 集群 链接: ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建 2. 上传tar包并修改配置文件 解压tar包到指定目录 进入配置目录 vim hb ...
分类：
系统相关 时间：
2019-11-03 16:26:41
阅读次数：
91
一、概述1、什么是hive?由Facebook开源用于解决海量结构化日志的数据统计。是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质上其实就是将HQL/SQL转化为MapReduce或者spark任务执行，然后返回结果。有以下几个本质：1）Hive处理的数据存储在HDFS。默认在在/user/hive/warehouse/<databas
分类：
其他好文 时间：
2019-11-03 14:40:54
阅读次数：
85
下面是hive使用过程中一些调优策略一、fetch抓取?Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT*FROMemployees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。?在hive-default.xml.template文件中hive.fetch.task.conversion
分类：
其他好文 时间：
2019-11-03 11:11:19
阅读次数：
87
实验要求及步骤 参考博客：https://blog.csdn.net/qq_41035588/article/details/90514824，但是创建的项目是Map/Reduce项目。其实创建Java项目也可以做，只是需要导入Map/Reduce项目所需要的jar包。 运行结果截图 出现的问题及解 ...
分类：
其他好文 时间：
2019-10-31 01:10:23
阅读次数：
105
import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.ap... ...
分类：
其他好文 时间：
2019-10-31 01:07:38
阅读次数：
59
现有某电商网站用户对商品的收藏数据，记录了用户收藏的商品id以及收藏日期，名为buyer_favorite1。 buyer_favorite1包含：买家id，商品id，收藏日期这三个字段，数据以“\t”分割，样本数据及格式如下： 要求编写MapReduce程序，统计每个买家收藏商品数量。 ...
分类：
其他好文 时间：
2019-10-31 01:00:58
阅读次数：
242
实验6：Mapreduce实例——WordCount 实验说明： 1、 本次实验是第六次上机，属于验证性实验。实验报告上交截止日期为2018年11月16日上午12点之前。 2、 实验报告命名为：信1605-1班学号姓名实验六.doc。 实验目的 1.准确理解Mapreduce的设计原理 2.熟练掌握 ...
分类：
其他好文 时间：
2019-10-30 21:09:30
阅读次数：
86
实验内容： 现有某电商网站用户对商品的收藏数据，记录了用户收藏的商品id以及收藏日期，名为buyer_favorite1。 buyer_favorite1包含：买家id，商品id，收藏日期这三个字段，数据以“\t”分割，样本数据及格式如下： 要求编写MapReduce程序，统计每个买家收藏商品数量。 ...
分类：
其他好文 时间：
2019-10-30 20:00:54
阅读次数：
119
日期：2019.10.30 博客期：114 星期三 实验6：Mapreduce实例——WordCount 实验说明： 1、 本次实验是第六次上机，属于验证性实验。实验报告上交截止日期为2018年11月16日上午12点之前。 2、 实验报告命名为：信1605-1班学号姓名实验六.doc。 实验目的 1 ...
分类：
其他好文 时间：
2019-10-30 18:50:47
阅读次数：
137
实验目的 1.准确理解Mapreduce的设计原理 2.熟练掌握WordCount程序代码编写 3.学会自己编写WordCount程序进行词频统计 实验原理 MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结 ...
分类：
其他好文 时间：
2019-10-30 18:45:16
阅读次数：
105
