通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍。基本涵盖了Hadoop分布式平台的全部技术核心。 HDFS的体系架构 整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持,并通过M ...
分类:
其他好文 时间:
2017-05-21 16:01:36
阅读次数:
134
摘要: Hive灵活易用且易于维护,十分适合数据仓库的统计分析,什么样的结构让它具备这些特性?我们如何才能灵活操作hive呢? 博主福利 给大家推荐一套hadoop视频课程 [百度hadoop核心架构师,首次内部分享的企业级项目视频,价值3980元] 免费赠送100份,先到先得。联系老师微信gans ...
分类:
其他好文 时间:
2017-04-25 14:59:50
阅读次数:
216
一、Hive的基本概念 (安装的是Apache hive 1.2.1) 1、hive简介 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表, 并提供类 SQL 查询功能, hive 底层是将 SQL 语句转换为 MapReduce 任务运行(类似于插件Pi ...
分类:
其他好文 时间:
2017-04-08 15:09:08
阅读次数:
258
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据 ...
分类:
其他好文 时间:
2017-03-25 23:33:20
阅读次数:
167
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓 ...
分类:
其他好文 时间:
2016-12-28 19:35:18
阅读次数:
147
【转载】http://tech.meituan.com/presto.html Facebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。在以前,Facebook的科学家和分析师一直依靠Hive来做数据分析。但Hiv ...
分类:
其他好文 时间:
2016-12-05 09:48:14
阅读次数:
463
Hive架构: Hive基础 Hive基础 1 概念 1 概念 1.1 简介 1.1 简介 1.1.1 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表, 并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。--OLAP 1.1.1 ...
分类:
其他好文 时间:
2016-09-14 12:38:13
阅读次数:
118
1Hive简介1.1Hive定义Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。本质是将SQL转换为MapReduce程序。1.2为什么使用Hive1、面临的问题人员学习成本太高项目周期要求太短我只是需要一个简单的环境MapReduce如何搞定复..
分类:
其他好文 时间:
2016-09-02 23:47:25
阅读次数:
538
我最近研究了hive的相关技术,有点心得,这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性: 1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapRedu ...
分类:
其他好文 时间:
2016-08-23 20:23:02
阅读次数:
124
HIVE是什么 开发调试麻烦 只能用java开发 需要对hadoop的底层及api比较了解才能开发复杂代码 HQL Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成 ...
分类:
其他好文 时间:
2016-08-21 00:37:48
阅读次数:
160