码迷,mamicode.com
首页 > 其他好文 > 详细

Sqoop安装

时间:2016-01-27 18:59:28      阅读:237      评论:0      收藏:0      [点我收藏+]

标签:

Sqoop 配置文档

安装环境ubuntu14.04 64位 hadoop2.6 jdk 1.7.0_79  sqoop-1.99.6-bin-hadoop200

Sqopp介绍:

Sqoop 学习笔记

1.sqoop 介绍

1)多数是用hadoop技术处理大数据业务的企业有大量的数据存储在rdbms中。

2)基于历史数据的数据分析,利用大数据的平台来进行处理。

3)因此需要将关系型数据库中的数据迁移到hadoop(hive和hbase)中,将hadoop分析出来的数据可能要在倒回到关系型数据库中。利用mapreduce加快数据传输速度。Etl 批处理方式进行数据传输。

4)Sqoop:sql-to-hadoop 

5)选择的优势:高效的,可控的利用资源譬如任务的并行度,超时的时间。

数据类型映射与转换,可自动进行,也可以用户定义。

支持多种的数据库

6)版本sqoop1和sqoop2

a)         两个不同的版本,完全的不兼容

b)        版本号划分:apache:1.4.x~,1.99.x~ ;DCH:sqoop-1.4.3-cdh4,sqoop2-1.99.2-cdh4.5.0/

7)sqoop2比sqoop1的改进

a)         引入sqoopserver,集中化的管理connector(连接不同关系型数据库的连接器)等

b)        引入多种的访问方式:CLI(command line interface),Wen UI (浏览器中的数据导入到出),REST API(支持多语言的使用)

c)         引入级角色的安全机制

技术分享

在上述的架构中:

1)基于命令行的:编程容易出错,譬如敲错命令,而且不安全

2)数据传输和数据格式是紧耦合的,这使得connector无法支持所有的数据格式。

3)按群密钥是暴露出来的,非常不安全传统数据库的用户名和密码

4)sqoop 安装需要root权限

5)Connector 必须符合jdbc模,并且使用通用的jdbc词汇 比如URL,database table

技术分享

配置:

首先在你需要安装的sqoop的节点上确认安装好hadoop,本文的版本是基于hadoop2兼容的sqoop1.99.6版本配置。

1.下载sqoop-1.99.6,这个版本最新,可以与hadoop2.x.x兼容的更好

2.现在以后解压到相应的目录

tar  zxvf  sqoop-1.99.6-bin-hadoop200.tar.gz

3.配置环境变量,sudo  vi /etc/profile进入profile文件,如下图

(最好在安装sqoop之前,把Hbase和Hive安装上)

添加几行代码:

PATH=添加$SQOOP_HOME/bin(可以看下图)

export SQOOP_HOME

export CATALINE_BASE=$SQOOP_HOME/server

export LOGDIR=$SQOOP_HOME/logs

技术分享

完成之后退出到命令行界面,使用  source /etc/profile   更些profile配置文

4.配置${SQOOP_HOME}/server/conf/catalina.properties 文件,如下图

找到  commen.loader=下图修改后的代码,注意,路径要换成你自己的安装路径哦

=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/common/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/common/lib/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/hdfs/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/hdfs/lib/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/mapreduce/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/mapreduce/lib/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/tools/*.jar,/home/likai/hadoop-2.6.0/tools/lib/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/yarn/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/yarn/lib/*.jar,/home/likai/hadoop-2.6.0/share/hadoop/httpfs/tomcat/lib/*.jar

 技术分享

5.配置${SQOOP_HOME}/server/conf/:wq

6.sqoop.properties 文件,如下图

找到下图的代码,把你hadoop的配置文件路径写上,一般为:${HADOOP_HOME}/

 技术分享

6.把mysql的驱动包mysql-connector-java-5.1.16-bin.jar放到${SQOOP_HOME}/server/lib/里面扯得

此时sqoop的配置基本上已经结束:下面就开始测试是否安装成功!

先启动hadoop,再启动sqojpsp,如下图:

 技术分享

 技术分享

启动sqoop的客户端

 技术分享

查看错误日志:

set option --name verbose --value true

set server --host hadoop000 --port 12000 --webapp sqoop

 入门程序:http://sqoop.apache.org/docs/1.99.6/Sqoop5MinutesDemo.html

Sqoop安装

标签:

原文地址:http://www.cnblogs.com/java-cjt/p/5164015.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!