实验包括：1.使用EMR创建Hadoop集群2.定义schema，创建示例表。3.通过HiveQL分析数据，并将分析结果保存到S3上4.下载已经分析结果数据。Task1：创建一个S3桶创建一个存储桶比如hadoop202006…Task2：创建EMR集群这里我解释一下Hadoop集群中的一些组件，了解大数据的同学直接忽略就好。ApacheHadoop：在分布式服务器集群上存储海量数据并运行分布式分
分类：
其他好文 时间：
2020-09-17 22:02:51
阅读次数：
37
实验包括：1.使用EMR创建Hadoop集群2.定义schema，创建示例表。3.通过HiveQL分析数据，并将分析结果保存到S3上4.下载已经分析结果数据。Task1：创建一个S3桶创建一个存储桶比如hadoop202006…Task2：创建EMR集群这里我解释一下Hadoop集群中的一些组件，了解大数据的同学直接忽略就好。ApacheHadoop：在分布式服务器集群上存储海量数据并运行分布式分
分类：
其他好文 时间：
2020-06-22 09:17:08
阅读次数：
174
本章分享的目录： 1：基础 第一节：简介与原理 2：设置用户及权限赋予 第二节：角色权限 3：安装 ，配置，连接 第三节：部署hive 4：参数动态设置 第四节：hive参数设置 第一节：简介与原理 简介： 数据仓库，对海量数据的离线处理（以HiveQL的形式，生成MR任务）； 核心组件： 解释器， ...
分类：
其他好文 时间：
2020-01-09 14:49:03
阅读次数：
115
1.关于分区 2.同一份数据多种处理 3.分桶表数据存储 4.为表增加列 5.使用列式存储表 ...
分类：
其他好文 时间：
2019-08-21 21:51:01
阅读次数：
135
HiveQL与传统SQL区别 HiveQL是Hive的查询语言。与mysql的语言最接近，但还是存在于差异性，表现在：Hive不支持行级插入操作、更新操作和删除操作，不支持事物。 基本语法 数据库操作 # hadoop fs -ls /hive/warehouseFound 3 itemsdrwxr ...
分类：
其他好文 时间：
2019-06-21 12:51:56
阅读次数：
78
Hive经常使用命令https://cwiki.apache.org/confluence/display/Hive/GettingStartedhttp://richardxu.com/hiveql-common-operations/http://www.cnblogs.com/ggjuchen ...
分类：
其他好文 时间：
2019-03-17 18:28:18
阅读次数：
154
1.hive的介绍 什么是hive：Hive是基于hadoop的一个数据仓库工具，实质就是一款基于hdfs的MapReduce计算框架，对存储在HDFS中的数据进行分析和管理。 hive的工作方式：把存放在hive中的数据都抽象成一张二维表格，提供了一个类似于sql语句的操作方式，这些sql语句最终被hive的底层翻译成为MapReduce程序，最终在h
分类：
其他好文 时间：
2019-01-13 21:40:37
阅读次数：
208
背景介绍 使用SQL 引擎一词是有点随意的。例如Hive 不是一个引擎，它的框架使用MapReduce、TeZ 或者Spark 引擎去执行查询，而且它并不运行SQL，而是HiveQL，一种类似SQL 的语言，非常接近SQL。“SQL-in-Hadoop” 也不适用，虽然Hive 和Impala 主要 ...
分类：
数据库 时间：
2019-01-10 10:57:21
阅读次数：
251
1、SELECT FROM语句1.1、使用正则表达式来指定列我们甚至可以使用正则表达式来选择我们想要的列。下面的查询将会从表stocks中选择symbol列和所有列名以price作为前缀的列： SELECT symbol ,`price.*` FROM stocks;1.2、使用列值进行计算用户不但 ...
分类：
其他好文 时间：
2018-11-20 18:20:06
阅读次数：
242
大数据学习路径我vx①⑤零零③④③⑥⑨③①备注A更多大数据第一阶段linux+搜索+hadoop体系Linux基础→shell编程→高并发架构→lucene,solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop→项目实战一第二阶段机器学习R语言→mahout→项目实战二第三阶段storm流式计算kafka→storm→red
分类：
其他好文 时间：
2018-11-13 20:36:33
阅读次数：
180
