一、Hive介绍 Apache官网给出的logo,一半是Hadoop大象的头,一半是蜜蜂的身体,也是寓意着它是基于Hadoop,哈哈,纯属个人理解,进入正题。 Hive是基于Hadoop的一个数据仓库工具,可以将sql语句转换成MapReduce任务来运行。可以用来数据提取、转化、加载(ETL),这 ...
分类:
其他好文 时间:
2019-08-07 23:02:06
阅读次数:
242
大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据仓库工具无法处理完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的各类技术。本文整理出了大数据平台常见的一些开源工具,并且依据其主要功能进行分类,以便大数据学习者及应用
分类:
其他好文 时间:
2019-07-25 12:17:08
阅读次数:
106
1.安装Mysql a.在官网下载 Mysql 8.0 (mysql-8.0.16-winx64.zip)并解压,地址:https://dev.mysql.com/downloads/mysql/ b.在 Mysql 根目录下 my.ini 文件和 data 文件夹,my.ini 内容如下: c.新 ...
分类:
其他好文 时间:
2019-07-09 19:12:07
阅读次数:
116
大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据仓库工具无法处理完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的各 ...
分类:
其他好文 时间:
2019-07-02 13:26:42
阅读次数:
126
1. Hive 基本概念 1.1 Hive 介绍 Hive 由 Facebook 开源用于解决海量结构化日志的数据统计; Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供 类SQL 查询功能; 本质是:将 HQL 转化成 MapReduce 程序 ; 1 ...
分类:
其他好文 时间:
2019-06-14 23:48:16
阅读次数:
123
什么是Hive Hive:由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。 本质是:将 HQL 转化成 MapReduce 程序 1)Hive 处理的数据存储在 HDFS ...
分类:
其他好文 时间:
2019-06-09 09:28:32
阅读次数:
88
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据 ...
分类:
其他好文 时间:
2019-05-26 19:41:51
阅读次数:
98
1 简介 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的[SQL]查询功能,可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用, ...
分类:
系统相关 时间:
2019-04-23 15:47:11
阅读次数:
174
一.简介 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十 ...
分类:
其他好文 时间:
2019-03-13 16:47:26
阅读次数:
220
2019/2/16星期六大数据领域技术总体介绍(各个组件的作用)1、大数据技术介绍大数据技术生态体系:Hadoop元老级分布式海量数据存储、处理技术系统,擅长离线数据分析Hbase基于hadoop的分布式海量数据库,离线分析和在线业务通吃Hivesql基于hadoop的数据仓库工具,使用方便,功能丰富,使用方法类似SQLZookeeper集群协调服务Sqoop数据导入导出工具Flume数据采集框架
分类:
其他好文 时间:
2019-02-17 09:17:32
阅读次数:
201