欢迎转载,转载请注明出处,徽沪一郎概要在新近发布的spark 1.0中新加了sql的模块,更为引人注意的是对hive中的hiveql也提供了良好的支持,作为一个源码分析控,了解一下spark是如何完成对hql的支持是一件非常有趣的事情。Hive简介Hive的由来以下部分摘自Hadoop defini...
分类:
其他好文 时间:
2014-07-07 14:45:58
阅读次数:
224
欢迎转载,转载请注明出处,徽沪一郎。楔子Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块...
分类:
其他好文 时间:
2014-07-07 14:17:47
阅读次数:
295
测试环境 Hadoop 0.20.2版本、Hive-0.5.0版本、JDK1.61、一般来说我们对hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,所以,对于这样的模式我建议是用来做一些测试比较合适,并不适合做产品的开发和应...
分类:
编程语言 时间:
2014-07-03 00:39:24
阅读次数:
316
如果你熟悉SharePoint 2007, 你必须知道12 Hive目录。在SharePoint 2010中,12 Hive已经被14 Hive 代替。大多数情况下,都是SharePoint文件的默认路径。...
分类:
其他好文 时间:
2014-07-01 07:47:39
阅读次数:
187
hive是一个SQL解析引擎,可以在hive中创建表,执行sql语句。创建的表是存储在hdfs中,执行的sql语句是通过MapReduce执行的。可以通过执行sql语句来代替编写MapReduce作业,太方便了!1.解压缩、设置环境hive使用的版本是hive-0.9.0.tar.gz。我们在/.....
分类:
其他好文 时间:
2014-06-27 19:59:49
阅读次数:
179
由于最近项目的需求,仔细研究了下采用hive JDBC编码的方式来实现命令行模式执行hql语句的功能。期间遇到了不少问题,并一一进行了分析解决。但是时间匆忙,本人并未能将遇到的问题逐一记录在案。凭借零零稀稀的记忆希望将这些问题和经验进行总结以备后用。 项目中有个需求就是实现通过hql条件查询语句查....
分类:
数据库 时间:
2014-06-27 19:26:52
阅读次数:
275
Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive-hbase-handler.jar工具类 ;hive-hbase-handler.jar在hive的lib包中而不是在hbase的lib中,hive0.6版本以后;创建hive表的同时创建hb...
分类:
其他好文 时间:
2014-06-27 14:06:14
阅读次数:
288
前提:1、spark1.0的包编译时指定支持hive:./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn--with-hive--tgz2、安装完spark1.0;3、安装与hadoop对应的CDH版本的hive;Spark SQL ...
分类:
数据库 时间:
2014-06-26 11:24:11
阅读次数:
564
1、查看表结构信息
desc formatted table_name;
desc table_name;
查看关联文件:
desc extended f_tblog_online_mds;
2、查看分区
show partitions table_name;
3、根据分区查询,提高速度
select table_coulm from table_name whe...
分类:
其他好文 时间:
2014-06-26 08:09:25
阅读次数:
261