码迷,mamicode.com
首页 > 数据库 > 详细

针对sqoop1.99.6 从jdbc向hdfs中抽取数据的几点感想

时间:2016-03-31 16:49:01      阅读:195      评论:0      收藏:0      [点我收藏+]

标签:

最近在用sqoop1.99.6做数据抽取,期间遇到了很多问题,特此在这里记录一下,方便以后的回顾与整理

1.首先配置的时候,需要配置hdfs的lib目录到catalina.properties

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/lib/hadoop/*.jar,/usr/lib/hadoop/lib/*.jar,/usr/lib/hadoop-hdfs/*.jar,/usr/lib/hadoop-hdfs/lib/*.jar,/usr/lib/hadoop-mapreduce/*.jar,/usr/lib/hadoop-mapreduce/lib/*.jar,/usr/lib/hadoop-yarn/*.jar,/usr/lib/hadoop-yarn/lib/*.jar,/usr/lib/hive/lib/*.jar

在sqoop.properties中配置logs目录与db的目录

2.配置完后即可启动sqoop(应先启动hadoop)

3.创建一个sqoop任务需要先创建link,在1.99.6中需创建一个

fromlink,和tolink。

create link -cid 1
create link -cid 3

 这两行命令是分别创建一个jdbclink 和一个hdfs link

jdbclink 需要填写一些参数:一定需要填写的参数为connectString,database user database password

hdfs link需要填写的参数为:hdfs的url :hdfs://namenode:9000/

在设置好这些参数以后就可以进行连接了。

本人测试过mysql连接和oracle连接。

oracle连接的连接参数可以用sid进行连接:jdbc:oracle:thin:@IP:Port:orcl

在构建了link 后就可以构建job了。

create job -f 1 -t 2

 需填写的参数为

Name:可不填

From database configuration

Schema name:

Table name:

Table SQL statement:

Table Columns name:

...

To HDFS configuration

...

output format:

compression format:

...

Output directory:

...

在这里要着重写一下几个参数的意义。特别是在数据库一端的设置。

(Schema name,Table name)和Table SQL statement 不能同时设置,这是为了防止表名不同一造成的问题。

Table Columns name可以设置要抽取的列名。基本格式为:COL1,COL2,COL3  .因为Table Columns name的长度有一个变态的设置,就是这个字符串长度不能超过50.所以基本上设置不了几列。在这里,我通过查找源码发现了Table SQL statement的用法,其实可以说他的存在就是为了解决上面的问题。首先我们可以看到源码里sql的size为2000.所以有足够的长度。但是之前试了好多种sql的写法,发现总是不成功。于是对sqoop各种吐槽。。。

后来终于发现它的基本写法是这样子滴:SELECT ID,COL1,COL2,COL3 FROM SCHEMA.TABLE WHERE ${CONDITIONS}

那个${CONDITIONS}只是个占位符,没有什么用处,它在源码里会被替换成1=1

这样子就解决了COLUMNS设置的问题。

再来讲解一下

Partition column name 一般可设置为ID,它的作用就是为了并行处理做准备的。sqoop通过获取Partition column的最大值和最小值对数据库表进行切割,分块读取数据(这样很有可能导致任务之间的不平衡)。

为了解决这个问题,可以用Boundary Query来解决分块的问题,这部分我还没有研究。

最后一个问题,sqoop现在列之间的分隔符用的是“,”而不是“\t”,而且在外部已经不能手动去改了,它在代码里写死了。要改的话可以通过重新编译源代码的方式进行修改。

那个类是org.apache.sqoop.connector.hdfs.HdfsConstants

对于sqoop的学习暂且先记到这里。

 

针对sqoop1.99.6 从jdbc向hdfs中抽取数据的几点感想

标签:

原文地址:http://www.cnblogs.com/yulijunzj/p/5341534.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!