hadoop环境介绍：master服务：node1slave服务器：node2，node3，node4mysql服务器：node29Thrift安装在node1服务器上！相关软件版本：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65Thrift版本：thrift-0.9.0thrift安装链接：..
分类：
编程语言 时间：
2014-10-24 19:07:42
阅读次数：
213
sqoop是hadoop项目中一个插件，可以把分布式文件系统hdfs中内容导入到mysql指定表里面，也可以把mysql中内容导入到hdfs文件系统中进行后续操作。测试环境说明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特别说明：因为我..
分类：
其他好文 时间：
2014-10-22 18:31:34
阅读次数：
345
（一）从关系型数据库导入至HDFS1.将下面的参数保持为import.scriptimport--connectjdbc:mysql://192.168.1.14:3306/test--username root--password 1234-m1--null-string''--table use...
分类：
数据库 时间：
2014-10-22 17:49:36
阅读次数：
266
Sqoop即 SQL to Hadoop ，是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本，Sqoop1和Sqoop2。
Sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁，支持关系型数据库和hive、hdfs，hbase之间数据的相互导入，可以使用全表导入和增量导入。
那么为什么选择Sqoop呢？
高效可控的利用资源，任务并行度，超时时间。 数据类型映射与转化，可自动进行，用户...
分类：
其他好文 时间：
2014-10-21 19:42:33
阅读次数：
651
我是采用的源码编译的包安装的， 主要是考虑到会对部分功能做裁剪或增强， 具体源码编译方式可以参考另外一篇博文《编译Sqoop2错误解决》。然后从dist/target目录下拷贝sqoop-1.99.3.tar.gz压缩包的内容到/usr/lib/sqoop目录中。
接下来便是开始对相关配置文件进行配置，注意sqoop2是区分了server和client端的，我们首先安装服务端，记得服务端需要安装...
分类：
其他好文 时间：
2014-10-14 13:41:28
阅读次数：
268
Sqoop2的代码结构相对于Sqoop做了大幅度调整，其中编译方式也从ant+maven杂糅的方式变为依赖maven3，今天将源代码下下来，放到linux测试机器/export/build下后，运行“ mvn package -Pbinary -Dhadoop.profile=200 ”命令，居然出现以下错误：
Downloaded: http://repo2.maven.org/maven2/...
分类：
其他好文 时间：
2014-10-13 18:32:40
阅读次数：
205
详细记录基于Hadoop2.5.1的集群的安装过程，集群组件包含：JDK、Hadoop、Hive、ZK、MySql、Sqoop，并记录安装过程中遇到的问题及解决方案。...
分类：
其他好文 时间：
2014-10-08 14:14:35
阅读次数：
373
bug集锦1. hadoop平台datanode无法启动：原因： 由于多次hdfs namenode -format导致dfs/data/current/version中的cluserID与当前的cluserID不统一，通过查看hadoop/logs中的datanode日志文件查看到此错误。解决方....
分类：
其他好文 时间：
2014-10-02 23:55:33
阅读次数：
205
最近就想搞搞hadoop，然后装个MySQL，测试一下那个sqoop。 MySQL这种东西，既然是开放源码的，那就源码安装吧。 下面是我的测试环境说明： VMware10+Ubuntu14.04 Kylin 下面开始一步一步写（非特别注明，都是用root用户执行）： 1 下载Maria...
分类：
数据库 时间：
2014-10-01 00:23:00
阅读次数：
276
Sqoop 2 Metadata design
本文描述了Sqoop2元数据架构的设计。分成几个部分从不同的层次描述来帮助理解这个设计。
Top Level Structures
目前有四个顶层的结构：
Connector
Connector将控制Sqoop2中整个数据移动过程。在系统中，有多个Connector可用，每一个特定的数据存储可能有自己特定的Connector（一个Oracl...
分类：
其他好文 时间：
2014-09-15 11:20:18
阅读次数：
292
