标签：keep user ons pass cmd nbsp 下载地址 trunc mamicode
sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。
核心的功能有两个：
导入、迁入
导出、迁出
导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统
导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论。
sqoop：
工具：本质就是迁移数据， 迁移的方式：就是把sqoop的迁移命令转换成MR程序
hive
工具，本质就是执行计算，依赖于HDFS存储数据，把SQL转换成MR程序
将导入或导出命令翻译成 MapReduce 程序来实现 在翻译出的 MapReduce 中主要是对 InputFormat 和 OutputFormat 进行定制
将来sqoop在使用的时候有可能会跟那些系统或者组件打交道？
HDFS， MapReduce， YARN， ZooKeeper， Hive， HBase， MySQL
下载地址http://mirrors.hust.edu.cn/apache/sqoop
[hadoop@hadoop3 ~]$ tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C apps/
[hadoop@hadoop3 ~]$ cd apps/ [hadoop@hadoop3 apps]$ ls apache-hive-2.3.3-bin hadoop-2.7.5 hbase-1.2.6 sqoop-1.4.6.bin__hadoop-2.0.4-alpha zookeeper-3.4.10 [hadoop@hadoop3 apps]$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop-1.4.6 [hadoop@hadoop3 apps]$ cd sqoop-1.4.6/conf/ [hadoop@hadoop3 conf]$ ls oraoop-site-template.xml sqoop-env-template.sh sqoop-site.xml sqoop-env-template.cmd sqoop-site-template.xml [hadoop@hadoop3 conf]$ mv sqoop-env-template.sh sqoop-env.sh
[hadoop@hadoop3 conf]$ vi sqoop-env.sh
[hadoop@hadoop3 ~]$ cp mysql-connector-java-5.1.40-bin.jar apps/sqoop-1.4.6/lib/
[hadoop@hadoop3 ~]$ vi .bashrc
#Sqoop export SQOOP_HOME=/home/hadoop/apps/sqoop-1.4.6 export PATH=$PATH:$SQOOP_HOME/bin
[hadoop@hadoop3 ~]$ source .bashrc
sqoop version
当前mysql只允许localhost连接。
需要在localhost的那台机器上登入mysql后，将 "mysql" 数据库里的 "user" 表里的 "host" 项，从"localhost"改为"%"
mysql>use mysql；
mysql>update user set host = ‘%‘ where user = ‘root‘;
mysql>select host, user from user;
mysql>flush privileges;
[hadoop@hadoop3 ~]$ sqoop list-databases \ > --connect jdbc:mysql://hadoop1:3306/ \ > --username root \ > --password root
[hadoop@hadoop3 ~]$ sqoop list-tables \
> --connect jdbc:mysql://hadoop1:3306/mysql \
> --username root \
> --password root
根据MYSQL表创建HIVE前需先配置以下环境变量
sqoop create-hive-table --connect jdbc:mysql://hadoop1:3306/mysql --username root --password root --table help_keyword --hive-table hk
“导入工具”导入单个表从 RDBMS 到 HDFS。表中的每一行被视为 HDFS 的记录。所有记录 都存储为文本文件的文本数据（或者 Avro、sequence 文件等二进制数据）
RDBMS的表必须有主键才可以导入，否则会报错
sqoop import (generic-args) (import-args)
使用sqoop从mysql导入数据到hive常见坑 及其解决方法
导入： 指定分隔符和导入路径
sqoop import --connect jdbc:mysql://hadoop1:3306/mysql --username root --password root --table help_keyword --target-dir /user/hadoop11/my_help_keyword1 --fields-terminated-by ‘\t‘ -m 2
导入数据：带where条件
sqoop import --connect jdbc:mysql://hadoop1:3306/mysql --username root --password root --where "name=‘STRING‘ " --table help_keyword --target-dir /sqoop/hadoop11/myoutport1 -m 1
查询指定列
sqoop import --connect jdbc:mysql://hadoop1:3306/mysql --username root --password root --columns "name" --where "name=‘STRING‘ " --table help_keyword --target-dir /sqoop/hadoop11/myoutport22 -m 1 selct name from help_keyword where name = "string"
导入：指定自定义查询SQL
sqoop import --connect jdbc:mysql://hadoop1:3306/ --username root --password root --target-dir /user/hadoop/myimport33_1 --query ‘select help_keyword_id,name from mysql.help_keyword where $CONDITIONS and name = "STRING"‘ --split-by help_keyword_id --fields-terminated-by ‘\t‘ -m 4
在以上需要按照自定义SQL语句导出数据到HDFS的情况下：
1、引号问题，要么外层使用单引号，内层使用双引号，$CONDITIONS的$符号不用转义， 要么外层使用双引号，那么内层使用单引号，然后$CONDITIONS的$符号需要转义
2、自定义的SQL语句中必须带有WHERE \$CONDITIONS
指定行分隔符和列分隔符，指定hive-import，指定覆盖导入，指定自动创建hive表，指定表名，指定删除中间结果数据目录
sqoop import --connect jdbc:mysql://hadoop1:3306/mysql --username root --password root --table help_keyword --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --hive-overwrite --create-hive-table --delete-target-dir --hive-database mydb_test --hive-table new_help_keyword
增量导入
执行增量导入之前，先清空hive数据库中的help_keyword表中的数据
truncate table help_keyword;
sqoop import --connect jdbc:mysql://hadoop1:3306/mysql --username root --password root --table help_keyword --target-dir /user/hadoop/myimport_add --incremental append --check-column help_keyword_id --last-value 500 -m 1
标签：keep user ons pass cmd nbsp 下载地址 trunc mamicode
原文地址：https://www.cnblogs.com/dll102/p/12147229.html
