标签:ast job column img l数据库 where strong use info
将数据从别的数据库导到Hadoop、Hbase或Hive太麻烦了。
Sqoop就是Hadoop、Hive、HBase等数据仓库与数据库之间传输数据的工具。,就是将导入(输入)和导出(输出)的命令映射成MR程序。
导入:MySQL等数据库数据导入到HDFS、Hive、HBase等数据仓库
导出:Hadoop导出数据到数据库
全表数据导入:
bin/sqoop import
--connect jdbc:mysql://hadoop01.levi.com:3306/background
--username root
--password root
--table user
--target-dir /user/sqoop/user
--delete-target-dir
--num-mappers 1
--fields-terminated-by "\t"
部分数据导入:
bin/sqoop import
--connect jdbc:mysql://hadoop01.levi.com:3306/background
--username root
--password root
--target-dir /user/sqoop/user
--delete-target-dir
--num-mappers 1
--fields-terminated-by "\t"
--query ‘select name from user where id <= 10 and $CONDITIONS‘;
导入指定的列:
bin/sqoop import
--connect jdbc:mysql://hadoop01.levi.com:3306/background
--username root
--password root
--target-dir /user/sqoop/user
--delete-target-dir
--num-mappers 1
--fields-terminated-by "\t"
--table user
--columns id,name;
Sqoop关键字筛选数据导入:
bin/sqoop import
--connect jdbc:mysql://hadoop01.levi.com:3306/background
--username root
--password root
--target-dir /user/sqoop/user
--delete-target-dir
--num-mappers 1
--fields-terminated-by "\t"
--table user
--where id=3;
导入数据到Hive:
bin/sqoop import
--connect jdbc:mysql://hadoop01.levi.com:3306/background
--username root
--password root
--table user
--num-mappers 1
--hive-import
--hive-table user
--fields-terminated-by ‘\t‘
--hive-overwrite
--delete-target-dir
--hive-table levi.user;
备注:如果导入的表在hive中是没有的,那么则会到default数据库
导入过程:将数据分割后,输出到一个文件中,把这个文件弄到HDFS,并且在metastore中生成对应关系的元数据
导出数据到RDBMS:
bin/sqoop export
--connect jdbc:mysql://hadoop01.levi.com:3306/background
--username root
--password root
--table user
--num-mappers 1
--export-dir /user/sqoop/user
--input-fields-terminated-by ‘\t‘;
备注:假设是MySQL数据库,如果数据库中没有表则会报错
定义Job:
bin/sqoop job --create jobname
-- import
--connect jdbc:mysql://hadoop01.levi.com:3306/background
--username root
--password root
--table user
--target-dir /user/sqoop/user
--delete-target-dir
--num-mappers 1
--fields-terminated-by "\t"
查看Job:bin/sqoop job --list
执行Job:bin/sqoop job --exec jobname
验证作业情况:bin/sqoop job --show jobname
标签:ast job column img l数据库 where strong use info
原文地址:https://www.cnblogs.com/-levi/p/11380468.html