Spark SQL使用时需要有若干“表”的存在，这些“表”可以来自于Hive，也可以来自“临时表”。如果“表”来自于Hive，它的模式（列名、列类型等）在创建时已经确定，一般情况下我们直接通过Spark SQL分析表中的数据即可；如果“表”来自“临时表”，我们就需要考虑两个问题：（1）“临时表”的数...
分类：
数据库 时间：
2015-10-30 18:20:21
阅读次数：
378
创建数据库createdatabaseifnotexistssopdmcomment‘thisistestdatabase‘withdbproperties(‘creator‘=‘gxw‘,‘date‘=‘2014-11-12‘)--数据库键值对属性信息location‘/my/preferred/directory‘;显示所有表showtables;显示表的描述信息desc[extended,formatted]tablename;显示建表语..
分类：
数据库 时间：
2015-10-28 01:45:58
阅读次数：
815
转自: http://tech.meituan.com/hive-sql-to-mapreduce.html （美团技术团队） Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存...
分类：
数据库 时间：
2015-08-31 23:30:31
阅读次数：
391
背景这一篇可以说是“HiveJSON数据处理的一点探索”的兄弟篇。平台为了加速即席查询的分析效率，在我们的Hadoop集群上安装部署了Spark Server，并且与我们的Hive数据仓库共享元数据。也就是说，我们的用户即可以通过HiveServer2使用Hive SQL执行MapReduce分析数...
分类：
数据库 时间：
2015-08-14 15:15:07
阅读次数：
334
背景JSON是一种轻量级的数据格式，结构灵活，支持嵌套，非常易于人的阅读和编写，而且主流的编程语言都提供相应的框架或类库支持与JSON数据的交互，因此大量的系统使用JSON作为日志存储格式。使用Hive分析数据（均指文本）之前，首先需要为待分析的数据建立一张数据表，然后才可以使用Hive SQL分析...
分类：
Web程序 时间：
2015-08-13 21:44:00
阅读次数：
16305
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，...
分类：
数据库 时间：
2015-08-13 00:49:32
阅读次数：
359
背景我们使用的HiveServer2的版本为0.13.1-cdh5.3.2，目前的任务使用Hive SQL构建，分为两种类型：手动任务（临时分析需求）、调度任务（常规分析需求），两者均通过我们的Web系统进行提交。以前两种类型的任务都被提交至Yarn中一个名称为“hive”的队列，为了避免两种类型的...
分类：
数据库 时间：
2015-08-12 18:40:43
阅读次数：
9623
本文来着美团 :http://tech.meituan.com/hive-sql-to-mapreduce.htmlHive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。H...
分类：
数据库 时间：
2015-07-30 22:59:55
阅读次数：
208
前言Spark SQL允许我们在Spark环境中使用SQL或者Hive SQL执行关系型查询。它的核心是一个特殊类型的Spark RDD：SchemaRDD。SchemaRDD类似于传统关系型数据库的一张表，由两部分组成：Rows：数据行对象Schema：数据行模式：列名、列数据类型、列可否为空等S...
分类：
数据库 时间：
2015-07-29 12:02:57
阅读次数：
147
学习DDL语句创建对象的语句Create/Drop/Alter DatabaseCreate DatabaseCREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=pro...
分类：
其他好文 时间：
2015-06-30 22:09:28
阅读次数：
282
