转:https://www.aboutyun.com/thread-21544-1-1.html 问题导读:1.Hive 是什么? 2.Hive 架构分哪几部分? 3.Hive 文件格式是怎样的? 一、Hive是什么? Hive 是基于 Hadoop 构建的一套数据仓库分析系统,它提供了丰富的 SQ ...
分类:
其他好文 时间:
2019-12-31 14:28:25
阅读次数:
108
安装关系型数据库MySQL 安装大数据处理框架Hadoop 简述Hadoop平台的起源、发展历史与应用现状。 列举发展过程中重要的事件、主要版本、主要厂商; 国内外Hadoop应用的典型案例。 (1)Hadoop的介绍: Hadoop最早起源于Nutch,Nutch的设计目标是构建一个大型的全网搜索 ...
分类:
数据库 时间:
2019-05-11 23:35:02
阅读次数:
283
恢复内容开始 前言 Netflix电影推荐的百万美金比赛,把“推荐”变成了时下最热门的数据挖掘算法之一。也正是由于Netflix的比赛,让企业界和学科界有了更深层次的技术碰撞。引发了各种网站“推荐”热,个性时代已经到来。 一、 推荐系统概述 电子商务网站是个性化推荐系统重要地应用的领域之一,亚马逊就 ...
分类:
其他好文 时间:
2018-06-21 00:02:21
阅读次数:
229
一、前言 公司实用Hadoop构建数据仓库,期间不可避免的实用HiveSql,在Etl过程中,速度成了避无可避的问题。本人有过几个数据表关联跑1个小时的经历,你可能觉得无所谓,可是多次Etl就要多个小时,非常浪费时间,所以HiveSql优化不可避免。 注:本文只是从sql层面介绍一下日常需要注意的点 ...
分类:
数据库 时间:
2017-11-28 16:44:21
阅读次数:
175
Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 要的内 ...
分类:
数据库 时间:
2017-07-29 16:28:31
阅读次数:
238
Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的内容, ...
分类:
数据库 时间:
2017-07-07 23:39:12
阅读次数:
399
Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的内容, ...
分类:
数据库 时间:
2017-07-07 23:32:44
阅读次数:
966
P49 当数据集的大小超过一台计算机存储能力时,就有必要对数据集分区(partition)并将分区存储到若干台独立的计算机上。 管理网络中跨多台计算机存储的系统就叫分布式文件系统 Distributed FileSystem 而基于Hadoop构建的DFS就称之为HDFS。 P49-50 HDFS的 ...
分类:
其他好文 时间:
2017-01-20 17:26:28
阅读次数:
260
关于CDH和Cloudera ManagerCDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。Clo... ...
分类:
其他好文 时间:
2016-12-12 15:10:01
阅读次数:
262
Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 要的内 ...
分类:
数据库 时间:
2016-11-24 06:38:33
阅读次数:
250