一、概述Hadoop的版本更新挺快的,已经到了2.4,但是其周边工具的更新速度还是比较慢的,一些旧的周边工具版本对hadoop2.x的兼容性做得还不完善,特别是sqoop。最近,在为hadoop2.2.0找适合的sqoop版本时遇到了很多问题。尝试了多个sqoop1.4.x版本的直接简单粗暴的报版本不兼容..
分类:
其他好文 时间:
2014-08-15 18:06:49
阅读次数:
548
sqoop从oracle定时增量导入数据到hive感谢:http://blog.sina.com.cn/s/blog_3fe961ae01019a4l.htmlhttp://f.dataguru.cn/thread-94073-1-1.html sqoop.metastore.client.reco...
分类:
数据库 时间:
2014-08-14 16:09:48
阅读次数:
330
关系行数据库与非关系型数据库之间的数据同步 sqoop...
分类:
其他好文 时间:
2014-08-13 15:02:06
阅读次数:
226
在使用命令导数据过程中,出现如下错误sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.29.16:1521/testdb --username NAME --passord PASS --verbose -m 1 --tab...
分类:
数据库 时间:
2014-08-13 00:36:34
阅读次数:
602
感谢:http://www.myexception.cn/database/1600202.html官网配置指导:http://sqoop.apache.org/docs/1.99.3/Installation.html官网deam:http://sqoop.apache.org/docs/1.99...
分类:
其他好文 时间:
2014-08-09 21:17:09
阅读次数:
578
Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载。将数据从ORACLE中抽取数据,经过hive进行分析转换,最后存放到ORACLE中去。本案例是纯demo级别,练手使用一、需求将emp和dept表的数据分析最后存放到result表。emp和de...
分类:
其他好文 时间:
2014-08-06 22:14:52
阅读次数:
371
示例数据准备hive中创建dept表create table dept(deptno int,dname string,loc string)row format delimited fields terminated by '\t' lines terminated by '\n' stored ...
分类:
数据库 时间:
2014-08-06 21:58:32
阅读次数:
492
导入表的所有字段sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \--username SCOTT --password tiger \--table EMP \--hive-import --create-hive....
分类:
数据库 时间:
2014-08-06 21:47:42
阅读次数:
330
注意:在导出前需要先创建待导出的表结构。如果导出的表在数据库中不存在则会报错;如果重复导出多次,表中的数据会重复;create table EMP_DEMO as select * from EMP where 1=2;create table SALGRADE_DEMO as select * f...
分类:
数据库 时间:
2014-08-06 18:32:11
阅读次数:
358
导入表的所有字段sqoop import --connect jdbc:oracle:thin:@192.168.1.100:1521:ORCL \--username SCOTT --password tiger \--table EMP -m 1;查看执行结果:hadoop fs -cat /u...
分类:
数据库 时间:
2014-08-06 18:11:53
阅读次数:
434