码迷,mamicode.com
首页 > 其他好文 > 详细

阿里云ECS服务器部署HADOOP集群(七):Sqoop 安装

时间:2019-11-23 12:54:33      阅读:80      评论:0      收藏:0      [点我收藏+]

标签:user   基础   master   如图所示   cal   col   spm   HERE   tle   

本篇将在

阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建

阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper)

阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建

阿里云ECS服务器部署HADOOP集群(四):Hive本地模式的安装

的基础上搭建。

 

1 环境介绍

2 Sqoop 下载

下载 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 并在合适的位置解压缩,笔者这里解压缩的路径为:

/usr/local

将解压得到的目录改名为 sqoop

1 cd /usr/local
2 mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop/

3 添加 Sqoop 环境变量

在"/etc/profile"中添加内容:

1 export SQOOP_HOME=/usr/local/sqoop
2 export PATH=$PATH:$SQOOP_HOME/bin
3 export CLASSPATH=$CLASSPTH:$SQOOP_HOME/lib

重新加载环境:

source /etc/profile

4 修改 Sqoop 环境变量

1 cd $SQOOP_HOME/conf/
2 cp sqoop-env-template.sh sqoop-env.sh
3 vim sqoop-env.sh

配置可参考如下代码:

 1 #Set path to where bin/hadoop is available
 2 export HADOOP_COMMON_HOME=/usr/local/hadoop
 3 
 4 #Set path to where hadoop-*-core.jar is available
 5 export HADOOP_MAPRED_HOME=/usr/local/hadoop
 6 
 7 #set the path to where bin/hbase is available
 8 export HBASE_HOME=/usr/local/hbase
 9 
10 #Set the path to where bin/hive is available
11 export HIVE_HOME=/usr/local/hive
12 
13 #配置ZooKeeper的路径。如果读者没有配置 ZooKeeper 则不需要配置。
14 #Set the path for where zookeper config dir is
15 export ZOOCFGDIR=/usr/local/zookeeper

5 配置 MySQL 连接器

5.1 下载 mysql-connector-java-5.1.47.tar.gz 并解压至 $SQOOP_HOME/lib 下

tar -zxvf mysql-connector-java-5.1.47.tar.gz -C $HIVE_HOME/lib

5.2 测试与 Mysql 的连接

首先确保 mysql 服务已经启动,如果没有启动,执行以下命令

service mysql start

测试连接

sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root -P

连接成功后显示内容如图所示

技术图片

6 安装完成

 

阿里云ECS服务器部署HADOOP集群(七):Sqoop 安装

标签:user   基础   master   如图所示   cal   col   spm   HERE   tle   

原文地址:https://www.cnblogs.com/RansonDu/p/11916875.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!