码迷,mamicode.com
首页 > 其他好文 > 详细

在Hadoop集群上安装Sqoop数据迁移工具

时间:2015-01-20 00:54:29      阅读:250      评论:0      收藏:0      [点我收藏+]

标签:

集群如下:

HostName          IP                    Soft                                   Process
h1                    192.168.1.31    Hadoop,Hbase                          NameNode(Active),DFSZKFailoverController,HMaster(Active)
h2                    192.168.1.32     Hadoop,Hbase                         NameNode(Standby),DFSZKFailoverController,HMaster(Backup)
h3                    192.168.1.33     Hadoop,Hbase                         ResourceManager(Active),HRegionServer
h4                    192.168.1.34     Hadoop,Hbase                         ResourceManager(Standby),HRegionServer
h5                    192.168.1.35     Hadoop,Zookeeper,Hbase         QuorumPeerMain(follower),JournalNode,DataNode,NodeManager,HRegionServer
h6                    192.168.1.36     Hadoop,Zookeeper,Hbase         QuorumPeerMain(Leader),JournalNode,DataNode,NodeManager,HRegionServer
h7                    192.168.1.37     Hadoop,Zookeeper,Hbase         QuorumPeerMain(follower),JournalNode,DataNode,NodeManager,HRegionServer

 

由此上集群架构,h3和h4节点压力较小,暂且将Sqoop安装在h3节点上,安装如下。

##安装sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz

cd /usr/local/

tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz

mv sqoop-1.4.4.bin__hadoop-2.0.4-alpha sqoop

 

##在h3上配置SQOOP_HOME
vi /etc/profileexport SQOOP_HOME=/usr/local/sqoop
export PATH=.:$SQOOP_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
esc,shift+zz
source /etc/profile

 

到此Sqoop配置成功,这里我没有修改Sqoop任何配置文件,因为Sqoop在运行时会找HADOOP_HOME,找到HADOOP_HOME时即可使用该节点上的Hadoop的配置以及类库。

在Hadoop集群上安装Sqoop数据迁移工具

标签:

原文地址:http://www.cnblogs.com/mengyao/p/4235029.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!