标签：
最近在用sqoop1.99.6做数据抽取，期间遇到了很多问题，特此在这里记录一下，方便以后的回顾与整理
1.首先配置的时候，需要配置hdfs的lib目录到catalina.properties
common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/lib/hadoop/*.jar,/usr/lib/hadoop/lib/*.jar,/usr/lib/hadoop-hdfs/*.jar,/usr/lib/hadoop-hdfs/lib/*.jar,/usr/lib/hadoop-mapreduce/*.jar,/usr/lib/hadoop-mapreduce/lib/*.jar,/usr/lib/hadoop-yarn/*.jar,/usr/lib/hadoop-yarn/lib/*.jar,/usr/lib/hive/lib/*.jar
在sqoop.properties中配置logs目录与db的目录
2.配置完后即可启动sqoop（应先启动hadoop）
3.创建一个sqoop任务需要先创建link，在1.99.6中需创建一个
fromlink，和tolink。
create link -cid 1 create link -cid 3
这两行命令是分别创建一个jdbclink 和一个hdfs link
jdbclink 需要填写一些参数：一定需要填写的参数为connectString，database user database password
hdfs link需要填写的参数为：hdfs的url ：hdfs：//namenode：9000/
在设置好这些参数以后就可以进行连接了。
本人测试过mysql连接和oracle连接。
oracle连接的连接参数可以用sid进行连接：jdbc：oracle：thin：@IP：Port：orcl
在构建了link 后就可以构建job了。
create job -f 1 -t 2
需填写的参数为
Name：可不填
From database configuration
Schema name：
Table name:
Table SQL statement:
Table Columns name:
...
To HDFS configuration
...
output format:
compression format:
...
Output directory:
...
在这里要着重写一下几个参数的意义。特别是在数据库一端的设置。
（Schema name，Table name）和Table SQL statement 不能同时设置，这是为了防止表名不同一造成的问题。
Table Columns name可以设置要抽取的列名。基本格式为：COL1,COL2，COL3 .因为Table Columns name的长度有一个变态的设置，就是这个字符串长度不能超过50.所以基本上设置不了几列。在这里，我通过查找源码发现了Table SQL statement的用法，其实可以说他的存在就是为了解决上面的问题。首先我们可以看到源码里sql的size为2000.所以有足够的长度。但是之前试了好多种sql的写法，发现总是不成功。于是对sqoop各种吐槽。。。
后来终于发现它的基本写法是这样子滴：SELECT ID,COL1,COL2,COL3 FROM SCHEMA.TABLE WHERE ${CONDITIONS}
那个${CONDITIONS}只是个占位符，没有什么用处，它在源码里会被替换成1=1
这样子就解决了COLUMNS设置的问题。
再来讲解一下
Partition column name 一般可设置为ID，它的作用就是为了并行处理做准备的。sqoop通过获取Partition column的最大值和最小值对数据库表进行切割，分块读取数据（这样很有可能导致任务之间的不平衡）。
为了解决这个问题，可以用Boundary Query来解决分块的问题，这部分我还没有研究。
最后一个问题，sqoop现在列之间的分隔符用的是“，”而不是“\t”，而且在外部已经不能手动去改了，它在代码里写死了。要改的话可以通过重新编译源代码的方式进行修改。
那个类是org.apache.sqoop.connector.hdfs.HdfsConstants
对于sqoop的学习暂且先记到这里。
针对sqoop1.99.6 从jdbc向hdfs中抽取数据的几点感想
标签：
原文地址：http://www.cnblogs.com/yulijunzj/p/5341534.html
