sqoop的安装和使用

时间：2016-03-17 12:34:12 阅读：154 评论：0 收藏：0 [点我收藏+]

标签：

关系行数据库与非关系型数据库之间的数据同步
一、在不使用sqoop的情况下
Mysql-->hive
1.利用naivacat（工具）将数据库中的表导出（导出的时候要主要制表符/t）
2.利用WinSCP（工具）上传到linux指定的文件夹下
3.先在hive建表 create table 表名(idfa string) row format delimited fields terminated by ‘\t‘"
4.hive -e "load data local inpath ‘t1.txt‘ into table t1"
(假设表里面有数据，须要truncate table hive表名。在运行4）
truncate table t1;( 仅仅删除表数据)
或者hive -e "load data local inpath ‘t1.txt‘ overwrite into table t1";
hive-->Mysql
1.hive -e "sql语句;>>name.txt" 导出在home/dev
2.然后在利用WinSCP（工具）下载到本地
二、在使用sqoop的情况下
1.解压sqoop，配置环境变量：
在/etc/profile中加入：(没有root权限是不能改动的，所以仅仅能在sqoop/bin路径下启动)
export $SQOOP_HOME=/home/hadoop/sqoop-1.4.3
export $PATH = $SQOOP_HOME/bin:$PATH
配置完毕后要运行 source etc/profile
2. 解压mysql，将mysql-connector-java-5.1.24-bin.jar放到$SQOOP_HOME/lib里
把sqoop解压后根文件夹下的sqoop-1.4.3.jar增加到hadoop-2.2.0/lib里就可以。

3. 列出mysql数据库中的全部数据库命令
./sqoop list-databases --connect jdbc:mysql://222.99.11.52:33221/ --username dev --password 1234
4. 将关系型数据的表结构拷贝到hive中
./sqoop create-hive-table --connect jdbc:mysql://222.99.11.52:33221/sampledata --table t1 --username dev --password 1234 --hive-table /hive/warehouse/t1
5.从关系数据库导入文件到hive中
./sqoop import --connect jdbc:mysql:// 222.206.163.139:33221/sampledata --username dev --password mysql-password --table t1 --hive-import
6.将hive中的表数据导入到mysql中
./sqoop export --connect jdbc:mysql:// 222.206.163.139:33221/sampledata --username dev --password admin --table uv_info --export-dir /user/hive/warehouse/uv/dt=日期

sqoop的安装和使用

标签：

原文地址：http://www.cnblogs.com/yxwkf/p/5286710.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行