生成yum源cd/var/ftp/pub/cdh/5createrepo --update .从节点yum clean all配置yum库/etc/yum.repos.d# cat /etc/yum.repos.d/cloudera-cdh.repo [hadoop]name=hadoopbaseu...
分类:
其他好文 时间:
2014-07-29 17:39:02
阅读次数:
264
前言hive是构建在Hadoop上的数据仓库平台,其设计目标是:使Hadoop上的数据操作与传统的SQL结合,让熟悉sql的开发人员能够轻松的像Hadoop平台迁移。Hive是Facebook的信息平台的重要组成部分,Facebook在2008年将其共献给Apache,现在Hive是Hadoop家族...
分类:
其他好文 时间:
2014-07-29 17:22:12
阅读次数:
282
本文部分来源:http://www.it165.net/admin/html/201406/3239.html https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration创建 表:hbase_hive_1REATE TABLE....
分类:
其他好文 时间:
2014-07-29 16:51:32
阅读次数:
285
Spark SQL 源码分析系列文章,从整个SQL执行流程到各个环节的关键组件,以及Catalyst框架的讲解。...
分类:
数据库 时间:
2014-07-29 13:10:36
阅读次数:
328
直接代码吧:记得要开启hive jdbc服务hive --service hiveserverpackage hive;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import ...
分类:
数据库 时间:
2014-07-28 15:08:33
阅读次数:
283
-- 向数据表中加载文件,不会对数据进行任何转换,load操作只是复制(本地到hdfs)、移动(hdfs上的文件)-- 如果表包含分区,则必须指定每个分区的分区名,filepath可以引用一个文件或一个目录-- 如果数据在hdfs上,且filepath不是绝对的,则hive会相对于/user/进行解...
分类:
其他好文 时间:
2014-07-28 15:06:33
阅读次数:
210
1、列裁剪select a,b from t where e < 10;设置参数:hive.optimize.cp = true2、分区裁剪select * from (select c1,count(1) from t group by c1) subqwhere subq.prtn = 100;...
分类:
其他好文 时间:
2014-07-28 15:04:23
阅读次数:
199
Spark SQL Catalyst的核心类库TreeNode详解,配有实例,图文并茂。...
分类:
数据库 时间:
2014-07-24 23:37:23
阅读次数:
895
Hive 命令行
Hive 命令行示例
?从命令行执行指定的sql语句
?$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'
?以指定的hive环境变量执行指定的sql语句
?$HIVE_HOME/bin/hive -e 'select a.col from tab1 a' -hiveconf hive.exec.scr...
分类:
其他好文 时间:
2014-07-24 23:11:14
阅读次数:
256
使用Cloudera Manager 安装CDH,虽然方便快捷,但是在中国国情的网速下还是需要进行一些特别的处理,才能顺利安装。本文汇总了多个参考文档,详细的记录了安装过程和期间出现的问题与解决方法。...
分类:
其他好文 时间:
2014-07-24 23:02:34
阅读次数:
455