码迷,mamicode.com
首页 > 其他好文 > 详细

Sqoop2安装

时间:2017-10-17 19:00:18      阅读:291      评论:0      收藏:0      [点我收藏+]

标签:用户   文件目录   size   load   resource   cat   ext   jps   sqoop2   

下载

http://www-us.apache.org/dist/sqoop/ 
打开以上链接,开始下载sqoop2 
技术分享 
技术分享 
下载后得到:sqoop-1.99.7-bin-hadoop200.tar.gz文件

其中sqoop1和sqoop2区别可以参考以下链接 
重拾初心——Sqoop1和Sqoop2的刨析对比 
http://blog.csdn.net/gamer_gyt/article/details/55225700

安装

安装步骤参考官方文档 
http://sqoop.apache.org/docs/1.99.7/admin/Installation.html

解压tar包

将sqoop-1.99.7-bin-hadoop200.tar.gz上传至服务器中,这里安装到/usr/local/hadoop/sqoop-1.99.7目录中

  1. # 拷贝tar包到/usr/local/hadoop/中
  2. cp sqoop-1.99.7-bin-hadoop200.tar.gz /usr/local/hadoop/
  3. # 解压tar包
  4. tar -xvf sqoop-1.99.7-bin-hadoop200.tar.gz
  5. # 为文件夹重命名
  6. mv sqoop-1.99.7-bin-hadoop200 sqoop-1.99.7

配置sqoop2

  1. 确保sqoop2所依赖的环境变量 
    sqoop2需要hadoop的依赖(HADOOP_COMMON, HADOOP_HDFS, HADOOP_MAPRED, HADOOP_YARN),所以你的环境变量中需要存在如下的环境变量
  1. export HADOOP_HOME=/..

或者

  1. export HADOOP_COMMON_HOME=/...
  2. export HADOOP_HDFS_HOME=/...
  3. export HADOOP_MAPRED_HOME=/...
  4. export HADOOP_YARN_HOME=/...

如果配置了HADOOP_HOME,则sqoop会自动寻找$HADOOP_HOME/share/common相应的目录。

  1. 配置sqoop2的环境变量 
    在/etc/profire文件中增加如下配置,注意SQOOP2_HOME的位置
  1. #Sqoop配置
  2. export SQOOP2_HOME=/usr/local/hadoop/sqoop-1.99.7
  3. export CATALINA_BASE=$SQOOP2_HOME/server
  4. #Sqoop外部jar包存放路径,以后mysql-**.jar,odbc*.jar文件都放到extra-lib中即可
  5. export SQOOP_SERVER_EXTRA_LIB=$SQOOP2_HOME/server/lib/extra-lib
  6. export PATH=$PATH:$SQOOP2_HOME/bin
  1. sqoop访问hdfs的配置 
    sqoop需要模拟用户访问hdfs,所以需要在hadoop的core-site.xml中配置相应的访问地址和组 
    在hadoop的core-site.xml中增加如下配置
  1. <property>
  2. <name>hadoop.proxyuser.sqoop2.hosts</name>
  3. <value>*</value>
  4. </property>
  5. <property>
  6. <name>hadoop.proxyuser.sqoop2.groups</name>
  7. <value>*</value>
  8. </property>
  1. 配置sqoop访问的hadoop配置文件的位置 
    在/usr/local/hadoop/sqoop-1.99.7/conf/sqoop.properties文件中,修改如下变量的值为你hadoop配置文件目录 
    技术分享
  1. org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop/hadoop-2.7.4/etc/hadoop

初始化sqoop仓库

因为sqoop2中存储着元数据信息,所以首次安装时需要初始化仓库

  1. sqoop2-tool upgrade

初始化完成后,可以做一次验证

  1. sqoop2-tool verify

当出现Verification was successful.字样时,表示初始化成功。

启动sqoop

执行sqoop2-server start启动sqoop,同理。执行sqoop2-server stop会停止sqoop

  1. sqoop2-server start

执行完以上命令后,启动信息如下。 
技术分享
然后执行jps命令查看启动了哪些进程,可以看到sqoop server只启动了SqoopJettyServer进程。 
技术分享

启动sqoop客户端

由于我现在是伪分布式,所以sqoop server和sqoop client都在一台机器上,直接执行sqoop2-shell命令即可启动sqoop客户端 
技术分享 
可以查看sqoop2的版本,执行show version --all命令

  1. sqoop:000> show version --all
  2. client version:
  3. Sqoop1.99.7 source revision 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb
  4. Compiledby abefine on TueJul1916:08:27 PDT 2016
  5. 0[main] WARN org.apache.hadoop.util.NativeCodeLoader-Unable to load native-hadoop library for your platform...using builtin-java classes where applicable
  6. server version:
  7. Sqoop1.99.7 source revision 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb
  8. Compiledby abefine on TueJul1916:08:27 PDT 2016
  9. API versions:
  10. [v1]
  11. sqoop:000>

Sqoop2安装

标签:用户   文件目录   size   load   resource   cat   ext   jps   sqoop2   

原文地址:http://www.cnblogs.com/meet/p/7682855.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!