| 测试Mysql数据库的使用
前提：导入mysql jdbc的jar包
① 测试数据库连接
sqoop list-databases–connect jdbc:mysql://192.168.10.63 –username root–password 123456 以下所有的命令每行之后都存在一个空格，不要忘记 （以下6中命令都没有进行过成功测试） <1>mysql–>hdfs
sqoop export –connect jdbc:mysql://192.168.10.63/ipj –username root –password 123456 –table ipj_flow_user –export-dir hdfs://192.168.10.63:8020/user/flow/part-m-00000 前提： (1)hdfs中目录/user/flow/part-m-00000必须存在 (2)如果集群设置了压缩方式lzo，那么本机必须得安装且配置成功lzo (3)hadoop集群中每个节点都要有对mysql的操作权限 <2>hdfs–>mysql
sqoop import –connect jdbc:mysql://192.168.10.63/ipj –table ipj_flow_user <3>mysql–>hbase
sqoop import –connect jdbc:mysql://192.168.10.63/ipj –table ipj_flow_user –hbase-table ipj_statics_test –hbase-create-table –hbase-row-key id –column-family imei <4>hbase–>mysql
关于将Hbase的数据导入到mysql里，Sqoop并不是直接支持的，一般采用如下3种方法： 第一种：将Hbase数据扁平化成HDFS文件，然后再由Sqoop导入. 第二种：将Hbase数据导入Hive表中，然后再导入mysql。 第三种：直接使用Hbase的Java API读取表数据，直接向mysql导入 不需要使用Sqoop。 <5>mysql–>hive
sqoop import –connect jdbc:mysql://192.168.10.63/ipj –table hive_table_test –hive-import –hive-table hive_test_table 或–create-hive-tablehive_test_table <6>hive–>mysql
sqoop export –connect jdbc:mysql://192.168.10.63/ipj –username hive –password 123456 –table target_table –export-dir /user/hive/warehouse/uv/dt=mytable 前提：mysql中表必须存在 <1>列出mysql中的所有数据库 sqoop list-databases –connect jdbc:mysql://192.168.10.63:3306/ –usernameroot–password 123456 <2>列出mysql中某个库下所有表 sqoop list-tables –connect jdbc:mysql://192.168.10.63:3306/ipj –usernameroot–password 123456 更多精彩内容请关注：http://bbs.superwu.cn 关注超人学院微信二维码：  |
原文地址：http://blog.csdn.net/crxy2014/article/details/46521083
