本案例使用的数据均来源于Oracle自带的emp和dept表创建表语法:CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENT col_comment], ...)] [.....
分类:
其他好文 时间:
2014-08-13 18:30:17
阅读次数:
334
hadoop2 hive0.13.0 hbase 0.98.2版本集成错误总结...
分类:
其他好文 时间:
2014-08-13 15:01:16
阅读次数:
246
在使用命令导数据过程中,出现如下错误sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.29.16:1521/testdb --username NAME --passord PASS --verbose -m 1 --tab...
分类:
数据库 时间:
2014-08-13 00:36:34
阅读次数:
602
Hive 运行架构
由Facebook开源,最初用于解决海量结构化的日志数据统计问题:ETL工具;
构建于Hadoop的HDFS和MapReduce智商,用于管理和查询结构化/非结构化数据的数据仓库;
设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据:
使用HQL作为查询接口;
使用HDFS作为存储底层;...
分类:
其他好文 时间:
2014-08-12 19:05:44
阅读次数:
314
Phoenix(sql on hbase)简介
介绍:
Phoenix is a SQL skin over HBase delivered as a client-embedded JDBC driver targeting low latency queries over HBase data. Phoenix takes your SQL query, compile...
分类:
数据库 时间:
2014-08-11 21:28:33
阅读次数:
589
配置环境.hadoop2.4hbase0.98.3hive0.13.1(源用的mysql)配置。分2种情况(1.hbase与hive在一台机器上,2.hbase与hive不在同一台机器上)(1)hbase与hive在一台机器上比较简单,只需要在环境变量里把hbase,hive的home配置好即可。当然也可以按照不在一台进行配置。#confighad..
分类:
其他好文 时间:
2014-08-11 18:14:03
阅读次数:
177
以ANALYZE为例描述ANALYZE在Hive中的使用方法详见:https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-ExistingTablesANALYZE在Hive中使用简单介绍一张表有4个分区:Partitio...
分类:
数据库 时间:
2014-08-11 14:23:32
阅读次数:
428
在写代码的时候,可能会忽略释放内存、缓存之类的处理。
有时使用的类会自动调用释放方法,但在我们不知道是否是否的情况下,建议亲自是否。
方法一:Dispose方法。
主动去调用该方法,清除内存,释放空间。
方法二:继承IDisposable借口。
若没有Dispose方法,那么主动让类去继承IDisposable,可重写Dispose方法。
然后再主动调用方法释放内存。
方法三:usi...
分类:
其他好文 时间:
2014-08-11 11:58:22
阅读次数:
263
gzip: stdin: unexpected end of filetar: Unexpected EOF in architar: Unexpected EOF in archivevetar: Error is not recoverable: exiting now从网上下载了一个tar的文...
分类:
其他好文 时间:
2014-08-11 11:35:22
阅读次数:
320
本文介绍了Facebook公司数据分析系统中的RCFile存储结构,该结构集行存储和列存储的优点于一身,在 MapReduce环境下的大规模数据分析中扮演重要角色。Facebook曾在2010 ICDE(IEEE International Conference on Data Engineerin...
分类:
其他好文 时间:
2014-08-10 10:18:00
阅读次数:
315