sqoop的安装和使用

时间：2014-08-13 15:02:06 阅读：226 评论：0 收藏：0 [点我收藏+]

关系行数据库与非关系型数据库之间的数据同步
一、在不使用sqoop的情况下
Mysql-->hive
1.利用naivacat（工具）将数据库中的表导出（导出的时候要主要制表符/t）
2.利用WinSCP（工具）上传到linux指定的目录下
3.先在hive建表 create table 表名(idfa string) row format delimited fields terminated by ‘\t‘"
4.hive -e "load data local inpath ‘t1.txt‘ into table t1"
(如果表里面有数据，需要truncate table hive表名，在执行4）
truncate table t1;( 只删除表数据)
或者hive -e "load data local inpath ‘t1.txt‘ overwrite into table t1";
hive-->Mysql
1.hive -e "sql语句;>>name.txt" 导出在home/dev
2.然后在利用WinSCP（工具）下载到本地
二、在使用sqoop的情况下
1.解压sqoop，配置环境变量：
在/etc/profile中添加：(没有root权限是不能修改的，所以只能在sqoop/bin路径下启动)
export $SQOOP_HOME=/home/hadoop/sqoop-1.4.3
export $PATH = $SQOOP_HOME/bin:$PATH
配置完成后要执行 source etc/profile
2. 解压mysql，将mysql-connector-java-5.1.24-bin.jar放到$SQOOP_HOME/lib里
把sqoop解压后根目录下的sqoop-1.4.3.jar加入到hadoop-2.2.0/lib里即可。
3. 列出mysql数据库中的所有数据库命令
./sqoop list-databases --connect jdbc:mysql://222.99.11.52:33221/ --username dev --password 1234
4. 将关系型数据的表结构复制到hive中
./sqoop create-hive-table --connect jdbc:mysql://222.99.11.52:33221/sampledata --table t1 --username dev --password 1234 --hive-table /hive/warehouse/t1
5.从关系数据库导入文件到hive中
./sqoop import --connect jdbc:mysql:// 222.206.163.139:33221/sampledata --username dev --password mysql-password --table t1 --hive-import
6.将hive中的表数据导入到mysql中
./sqoop export --connect jdbc:mysql:// 222.206.163.139:33221/sampledata --username dev --password admin --table uv_info --export-dir /user/hive/warehouse/uv/dt=日期

sqoop的安装和使用,布布扣,bubuko.com

sqoop的安装和使用

标签：hadoop sqoop

原文地址：http://blog.csdn.net/manburen01/article/details/38535501

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行