OnSqoop2server:MySQLJDBCDriver:cpmysql-connector-java-5.1.33/mysql-connector-java-5.1.33-bin.jar/var/lib/sqoop2/OracleJDBCDriver:cpojdbc6.jar/var/lib/sqoop2/MicrosoftSQLServerJDBCDriver:cpsqljdbc_4.0/enu/sqljdbc4.jar/var/lib/sqoop2/cd/var/lib/sqoop2chownsqo..
分类：
数据库 时间：
2014-10-31 16:03:39
阅读次数：
377
Sqoop即 SQL to Hadoop ，是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本，Sqoop1和Sqoop2。
Sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁，支持关系型数据库和hive、hdfs，hbase之间数据的相互导入，可以使用全表导入和增量导入。
那么为什么选择Sqoop呢？
高效可控的利用资源，任务并行度，超时时间。 数据类型映射与转化，可自动进行，用户...
分类：
其他好文 时间：
2014-10-21 19:42:33
阅读次数：
651
我是采用的源码编译的包安装的， 主要是考虑到会对部分功能做裁剪或增强， 具体源码编译方式可以参考另外一篇博文《编译Sqoop2错误解决》。然后从dist/target目录下拷贝sqoop-1.99.3.tar.gz压缩包的内容到/usr/lib/sqoop目录中。
接下来便是开始对相关配置文件进行配置，注意sqoop2是区分了server和client端的，我们首先安装服务端，记得服务端需要安装...
分类：
其他好文 时间：
2014-10-14 13:41:28
阅读次数：
268
Sqoop2的代码结构相对于Sqoop做了大幅度调整，其中编译方式也从ant+maven杂糅的方式变为依赖maven3，今天将源代码下下来，放到linux测试机器/export/build下后，运行“ mvn package -Pbinary -Dhadoop.profile=200 ”命令，居然出现以下错误：
Downloaded: http://repo2.maven.org/maven2/...
分类：
其他好文 时间：
2014-10-13 18:32:40
阅读次数：
205
Sqoop2Intermediate representation
在Sqoop2的connector中提供了自己的map处理，map用于导入数据到HDFS。因为这段代码将完全被connector维护，所以，我们需要找到一个适用所有connector和所有情况的中间格式（map output）。本文的目标是比较不同的中间数据格式（intermediate representation），以使我们...
分类：
其他好文 时间：
2014-09-15 11:21:18
阅读次数：
246
Sqoop 2 Metadata design
本文描述了Sqoop2元数据架构的设计。分成几个部分从不同的层次描述来帮助理解这个设计。
Top Level Structures
目前有四个顶层的结构：
Connector
Connector将控制Sqoop2中整个数据移动过程。在系统中，有多个Connector可用，每一个特定的数据存储可能有自己特定的Connector（一个Oracl...
分类：
其他好文 时间：
2014-09-15 11:20:18
阅读次数：
292
Sqoop2是一个CS的架构，客户端包括sqoop-shell和sqoop-client，服务器端包括sqoop-server，sqoop-server就是一个部署在Tomcat下的web应用，由几个servlet组成。
调试sqoop-shell
调试sqoop-shell就是在启动sqoop client main方法时，加上调试参数。
sqoop-shell的启动方式为：sqoop.s...
分类：
其他好文 时间：
2014-09-12 13:33:43
阅读次数：
183
一、概述Hadoop的版本更新挺快的，已经到了2.4，但是其周边工具的更新速度还是比较慢的，一些旧的周边工具版本对hadoop2.x的兼容性做得还不完善，特别是sqoop。最近，在为hadoop2.2.0找适合的sqoop版本时遇到了很多问题。尝试了多个sqoop1.4.x版本的直接简单粗暴的报版本不兼容..
分类：
其他好文 时间：
2014-08-15 18:06:49
阅读次数：
548
