这里所说的在Java中执行Hive命令或HiveQL并不是指Hive Client通过JDBC的方式连接HiveServer(or HiveServer2)执行查询,而是简单的在部署了HiveServer的服务器上执行Hive命令。当然这是一个简单的事情,平常我们通过Hive做简单的数据分析实验的时候,都是直接进入Hive执行HiveQL,那我们为什么还要在程序中执行呢?
这里涉及到了一个问题,...
分类:
编程语言 时间:
2014-06-15 16:23:19
阅读次数:
301
Hive的TRANSFORM关键字提供了在SQL中调用自写脚本的功能,适合实现Hive中没有的功能又不想写UDF的情况。例如,按日期统计每天出现的uid数,通常用如下的SQLSELECT date, count(uid)FROM xxxGROUP BY date但是,如果我想在reduce阶段对每天...
分类:
其他好文 时间:
2014-06-15 09:03:50
阅读次数:
243
创建表CREATE TABLE pokes (foo INT, bar
STRING);创建表并创建索引字段dsCREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY
(ds STRING);显示所有表SHOW TABLES;按正条件(正则...
分类:
其他好文 时间:
2014-06-11 23:10:11
阅读次数:
299
link:http://blog.csdn.net/uniquechao/article/details/26449761版本信息:
hadoop 2.3.0 hive 0.11.01. Application Master 无法访问 点击application mater 链接,出现
http ....
分类:
其他好文 时间:
2014-06-11 13:08:02
阅读次数:
385
----资源来自于官网教程
Simple Example Use Cases
MovieLens User Ratings
First, create a table with tab-delimited text file format:
CREATE TABLE u_data (
userid INT,
movieid INT,
rati...
分类:
其他好文 时间:
2014-06-11 06:32:36
阅读次数:
407
如果你指定了\n为sqoop导入的换行符,mysql的某个string字段的值如果包含了\n, 则会导致sqoop导入多出一行记录。有一个选项--hive-drop-import-delimsDrops \n, \r, and \01 from string fields when importing to Hive.这样\n \r 和\01都被自动删除,不会捣乱了。...
分类:
其他好文 时间:
2014-06-11 06:05:59
阅读次数:
310
写在前面一:本文将Hive与HBase整合在一起,使Hive可以读取HBase中的数据,让Hadoop生态系统中最为常用的两大框架互相结合,相得益彰。写在前面二:使用软件说明:约定所有软件的存放目录:/home/yujianxin一、Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive-hbase-handler-0.9.0...
分类:
其他好文 时间:
2014-06-07 13:33:43
阅读次数:
274
一:课程简介:作为云计算实现规范和实施标准的Hadoop恰逢其时的应运而生,使用Hadoop用户可以在不了解分布式底层细节的情况下开发出分布式程序,从而可以使用众多廉价的计算设备的集群的威力来高速的运算和存储,而且Hadoop的运算和存储是可靠的、高效,的、可伸缩的,能够使用普通的社区服务器出来PB...
分类:
其他好文 时间:
2014-06-05 16:37:09
阅读次数:
285
Hadoop是云计算的事实标准软件框架,是云计算理念、机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始,在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声:如何从企业级开发的角度,不断动手实际操作,循序...
分类:
其他好文 时间:
2014-06-05 14:25:48
阅读次数:
300