hive是一个SQL解析引擎，可以在hive中创建表，执行sql语句。创建的表是存储在hdfs中，执行的sql语句是通过MapReduce执行的。可以通过执行sql语句来代替编写MapReduce作业，太方便了！1.解压缩、设置环境hive使用的版本是hive-0.9.0.tar.gz。我们在/.....
分类：
其他好文 时间：
2014-06-27 19:59:49
阅读次数：
179
由于最近项目的需求，仔细研究了下采用hive JDBC编码的方式来实现命令行模式执行hql语句的功能。期间遇到了不少问题，并一一进行了分析解决。但是时间匆忙，本人并未能将遇到的问题逐一记录在案。凭借零零稀稀的记忆希望将这些问题和经验进行总结以备后用。 项目中有个需求就是实现通过hql条件查询语句查....
分类：
数据库 时间：
2014-06-27 19:26:52
阅读次数：
275
Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive-hbase-handler.jar工具类 ；hive-hbase-handler.jar在hive的lib包中而不是在hbase的lib中，hive0.6版本以后；创建hive表的同时创建hb...
分类：
其他好文 时间：
2014-06-27 14:06:14
阅读次数：
288
前提：1、spark1.0的包编译时指定支持hive：./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn--with-hive--tgz2、安装完spark1.0；3、安装与hadoop对应的CDH版本的hive；Spark SQL ...
分类：
数据库 时间：
2014-06-26 11:24:11
阅读次数：
564
1、查看表结构信息
desc formatted table_name;
desc table_name;
查看关联文件：
desc extended f_tblog_online_mds;
2、查看分区
show partitions table_name;
3、根据分区查询，提高速度
select table_coulm from table_name whe...
分类：
其他好文 时间：
2014-06-26 08:09:25
阅读次数：
261
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。Impala 为存储在 HDFS 和 HBase 中的数据提供了一个实时 SQL 查询接口。...
分类：
其他好文 时间：
2014-06-25 10:56:38
阅读次数：
355
hive没有提供hive --version这种方式查看版本好，所以要找到hive所在目录，然后查看jar包的版本号，比如：# ls /usr/local/hive/lib/
antlr-2.7.7.jar datanucleus-core-2.0.3.jar hive-jdbc-0.10.0.jar jline-1.0.ja...
分类：
其他好文 时间：
2014-06-24 23:20:21
阅读次数：
377
Apache Hadoop的服务的部署比较繁琐，需要手工处理配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群，提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试，就采用了Cloudera Manager方式进行安装。本文讲解的是parcel安装方式。...
分类：
其他好文 时间：
2014-06-24 22:44:17
阅读次数：
501
ORACLE 五中表的优缺点总结：
1，普通表(heap table)：适合大部分设计场景，有优点也有缺点。
优点：
a,语法简单方便
b,适合大部分场景
缺点：
a,更新日志开销较大
b,Delete无法释放空间(HWM High Water Mark不下降)
c,表记录太大检索太慢
d,索引回表读开销很大
e,即便有序插入，也很难保证有序读出
2，全局临时表：适合接口表设...
分类：
数据库 时间：
2014-06-22 12:24:02
阅读次数：
441
写在前面一：
数据仓库ETL工具有很多，基于大数据环境下的分析，Hive用的多些。本文介绍国外的 一款开源ETL工具——Kettle。
写在前面二：
所用软件说明：
一、什么是Kettle
Kettle是一款国外开源的ETL工具，纯java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件，transformation和job，transf...
分类：
其他好文 时间：
2014-06-22 12:01:20
阅读次数：
619
