标签：color 同步 name div pass nod 情况 job time
使用SQoop Job做增量导入：
说明：
在执行导入模式为incremental 的sqoop job时，sqoop会获取上次导入操作的 -check-column的value值，也就是说使用sqoop job在做增量导入的时候，不用手动指定 --last-value的值。
但是也有这样的一种情况，sqoop job中如果指定了--incremental 为append模式导入，在指定了增量列--check-column之后，比如id为增量列，并且指定了--last-value的值，比如设置为100，那么在执行sqoop job的时候就会将id>100的行导入到hive中去。
增量导入简单实例：
1、mysql建表
CREATE TABLE `sqoop_job_incremental` ( `id` int(11) DEFAULT NULL, `name` varchar(255) DEFAULT NULL, `last_mod` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP ) ENGINE=InnoDB DEFAULT CHARSET=latin1
2、插入数据
insert into sqoop_job_incremental(id,name) values(1,‘name1‘); insert into sqoop_job_incremental(id,name) values(2,‘name2‘); insert into sqoop_job_incremental(id,name) values(3,‘name3‘);
3、将mysql表结构同步到hive中
sqoop create-hive-table --connect jdbc:mysql://192.168.200.100:3306/yang --username root --password 010209 --table sqoop_job_incremental --hive-table sqoop_job_incremental --fields-terminated-by ‘,‘
4、创建增量导入的sqoop job
5、执行job
6、加入增量导入的数据
7、再次执行job
标签：color 同步 name div pass nod 情况 job time
原文地址：https://www.cnblogs.com/yfb918/p/10858355.html
