欢迎转载，转载请注明出处，徽沪一郎概要在新近发布的spark 1.0中新加了sql的模块，更为引人注意的是对hive中的hiveql也提供了良好的支持，作为一个源码分析控，了解一下spark是如何完成对hql的支持是一件非常有趣的事情。Hive简介Hive的由来以下部分摘自Hadoop defini...
分类：
其他好文 时间：
2014-07-07 14:45:58
阅读次数：
224
欢迎转载，转载请注明出处，徽沪一郎。楔子Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块...
分类：
其他好文 时间：
2014-07-07 14:17:47
阅读次数：
295
测试环境 Hadoop 0.20.2版本、Hive-0.5.0版本、JDK1.61、一般来说我们对hive的操作都是通过cli来进行，也就是Linux的控制台，但是，这样做本质上是每个连接都存放一个元数据，各个之间都不相同，所以，对于这样的模式我建议是用来做一些测试比较合适，并不适合做产品的开发和应...
分类：
编程语言 时间：
2014-07-03 00:39:24
阅读次数：
316
如果你熟悉SharePoint 2007， 你必须知道12 Hive目录。在SharePoint 2010中，12 Hive已经被14 Hive 代替。大多数情况下，都是SharePoint文件的默认路径。...
分类：
其他好文 时间：
2014-07-01 07:47:39
阅读次数：
187
hive是一个SQL解析引擎，可以在hive中创建表，执行sql语句。创建的表是存储在hdfs中，执行的sql语句是通过MapReduce执行的。可以通过执行sql语句来代替编写MapReduce作业，太方便了！1.解压缩、设置环境hive使用的版本是hive-0.9.0.tar.gz。我们在/.....
分类：
其他好文 时间：
2014-06-27 19:59:49
阅读次数：
179
由于最近项目的需求，仔细研究了下采用hive JDBC编码的方式来实现命令行模式执行hql语句的功能。期间遇到了不少问题，并一一进行了分析解决。但是时间匆忙，本人并未能将遇到的问题逐一记录在案。凭借零零稀稀的记忆希望将这些问题和经验进行总结以备后用。 项目中有个需求就是实现通过hql条件查询语句查....
分类：
数据库 时间：
2014-06-27 19:26:52
阅读次数：
275
Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive-hbase-handler.jar工具类 ；hive-hbase-handler.jar在hive的lib包中而不是在hbase的lib中，hive0.6版本以后；创建hive表的同时创建hb...
分类：
其他好文 时间：
2014-06-27 14:06:14
阅读次数：
288
前提：1、spark1.0的包编译时指定支持hive：./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn--with-hive--tgz2、安装完spark1.0；3、安装与hadoop对应的CDH版本的hive；Spark SQL ...
分类：
数据库 时间：
2014-06-26 11:24:11
阅读次数：
564
1、查看表结构信息
desc formatted table_name;
desc table_name;
查看关联文件：
desc extended f_tblog_online_mds;
2、查看分区
show partitions table_name;
3、根据分区查询，提高速度
select table_coulm from table_name whe...
分类：
其他好文 时间：
2014-06-26 08:09:25
阅读次数：
261
