Sqoop （sqoop.apache.org）工具是hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入，根据每天的数据量而言，sqoop可以全表导入，对于 ...
分类：
其他好文 时间：
2019-12-15 16:13:22
阅读次数：
82
https://blog.csdn.net/Gamer_gyt/article/details/55225700 sqoop1.0 与sqoop2.0的比较（两者差别比较大）。 参考文档：https://blog.csdn.net/weixin_43241054/article/details/89 ...
分类：
其他好文 时间：
2019-12-02 00:35:01
阅读次数：
89
1. 安装环境 本次使用两个节点，一个作为master，一个作为slave。两个虚拟机使用virtualbox。操作系统为ubuntu 64bit server(Ubuntu Server 14.04.1 LTS). 2. 开始架设 先安装一台虚拟机，然后复制，修改hostname和mac addr ...
分类：
其他好文 时间：
2019-01-19 11:19:57
阅读次数：
186
之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用，综合比较后选择Sqoop1。 Sqoop1安装配置比较简单 一、安装部署 （1）、下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz 解压到 ...
分类：
其他好文 时间：
2018-06-19 23:24:20
阅读次数：
303
sqoop1 1、使用Sqoop导入MySQL数据到HDFS 2、使用Sqoop导入MySQL数据到Hive中 3、使用Sqoop导入MySQL数据到Hive中，并且指定表名 4、使用Sqoop导入MySQL数据到Hive中，并使用where条件 5、使用Sqoop导入MySQL数据到Hive中,并 ...
分类：
其他好文 时间：
2018-05-30 10:47:44
阅读次数：
212
sqoop产生背景 什么是sqoop sqoop的优势 sqoop1与sqoop2的比较 为什么选择sqoop1 sqoop在hadoop生态体系中的位置 sqoop基本架构 sqoop import原理 sqoop import 详细流程 sqoop export原理 sqoop 安装部署 sqo ...
分类：
其他好文 时间：
2017-10-29 18:46:36
阅读次数：
174
下载http://www-us.apache.org/dist/sqoop/打开以上链接，开始下载sqoop2下载后得到：sqoop-1.99.7-bin-hadoop200.tar.gz文件其中sqoop1和sqoop2区别可以参考以下链接重拾初心——Sqoop1和Sqoop2的刨析对比http:... ...
分类：
其他好文 时间：
2017-10-17 19:00:18
阅读次数：
291
1.当PartitionColumn的基数为1（如下图）时。则会报错报错如下图源代码如下\sqoop-1.99.6-bin-hadoop200\connector\connector-generic-jdbc\src\main\java\org\apache\sqoop\connector\jdbc\GenericJdbcPartitioner.java将源代码改为即可2.Job中参数Nullvalueallowedforthepart..
分类：
其他好文 时间：
2017-05-21 21:47:03
阅读次数：
700
1.sqoop2-shell进入shell2.showconnector显示支持的连接方式3.showlink-all查看已有连接的信息inkwithid1andname.168.1.188-1464317401319(Enabled:true,CreatedbyAdministratorat5/27/1610:50AM,UpdatedbyAdministratorat5/27/1610:50AM)UsingConnectorgeneric-jdbc-connector..
分类：
其他好文 时间：
2017-05-20 00:06:28
阅读次数：
239
1.sqoop2-shell进入shell2.showconnector显示支持的连接方式3.showlink-all查看已有连接的信息inkwithid1andname.168.1.188-1464317401319(Enabled:true,CreatedbyAdministratorat5/27/1610:50AM,UpdatedbyAdministratorat5/27/1610:50AM)UsingConnectorgeneric-jdbc-connector..
分类：
其他好文 时间：
2017-05-19 23:59:27
阅读次数：
971
