码迷,mamicode.com
首页 > 其他好文 > 详细

Sqoop框架基础

时间:2018-01-12 22:44:06      阅读:240      评论:0      收藏:0      [点我收藏+]

标签:gem   delete   转储   解释   cap   rem   pac   zook   国内   

Sqoop框架基础

本节我们主要需要了解的是大数据的一些协作框架,也是属于Hadoop生态系统或周边的内容,比如:

** 数据转换工具:Sqoop

** 文件收集库框架:Flume

** 任务调度框架:Oozie

** 大数据Web工具:Hue

这些框架为什么成为主流,请自行百度谷歌,此处不再赘述。

* CDH版本框架

Cloudera公司发布的CDH版本,在国内,很多大公司仍在使用,比如:一号店,京东,淘宝,百度等等。Cloudera公司发布的每一个CDH版本,其中一个最大的好处就是,帮我们解决了大数据Hadoop 2.x生态系统中各个框架的版本兼容问题,我们直接选择某一版本,比如CDH5.3.6版本,其中hadoop版本2.5.0,hive版本0.13.1,flume版本1.4.5;还有一点就是类似Sqoop、Flume、Oozie等框架,在编译的时候都要依赖对应的Hadoop 2.x版本,使用CDH版本的时候,已经给我们编译好了,无需再重新配置编译。

传送门已开启:CDH5.x版本下载地址

分享地址:链接:http://pan.baidu.com/s/1bpIPhxH 密码:qes2

* 安装配置CDH版本Hadoop

** 这一点与之前配置安装apache的hadoop差不多,所以,直接写主体思路:

1、在modules中创建新目录cdh来解压hadoop-cdh

2、修改hadoop以下配置文件的JAVA_HOME

** hadoop-env.sh

** yarn-env.sh

** mapred-env.sh

3、继续修改以下配置文件

** core-site.xml

** hdfs-site.xml

** yarn-site.xml

** mapred-site.xml

** slaves

4、拷贝至其他服务器

* 安装配置CDH版本zookeeper

1、修改zoo.cfg

2、修改myid(zkData目录不变的话,就不用再次修改了)

3、格式化HDFS,初始化zookeeper,并开启服务

三台机器:

分别开启:

** zookeeper服务,以及journalnode节点服务

$ sh /opt/modules/zookeeper-xx.xx.xx/bin/zkServer.sh start

$ sbin/hadoop-daemon.sh start journalnode

** 接着格式化namenode节点

$ bin/hadoop namenode -format

** 然后在备用namenode机器上执行元数据同步

$ bin/hdfs namenode -bootstrapStandby

** 最后依次启动即可

$ sbin/start-dfs.sh

$ sbin/start-yarn.sh

$ sbin/mr-jobhistory-daemon.sh start historyserver

(尖叫提示:如果设置了日志聚合功能,请在yarn-site.xml中配置yarn.log.server.url,如下图)

 
技术分享图片
 

(尖叫提示:如果重新制定了HDFS的Data目录,或者格式化了NameNode节点,请登录mysql删除metastore库,因为该库存储了hive数据仓库的元数据)

* 安装配置CDH版本Hive

** 修改如下配置文件:

** hive-env.sh

** hive-site.xml

** 拷贝JDBC驱动到hive的lib目录下

$ cp mysql-connector-java-5.1.27-bin.jar /opt/modules/cdh/hive-0.13.1-cdh5.3.6/lib/

** 启动mysql,设置用户,权限

忘记请翻阅前一篇文章

** 修改目录权限

确保HDFS正常运行,之后涉及命令:

$ bin/hadoop fs -chmod g+w /tmp

$ bin/hadoop fs -chmod g+w /user/hive/warehouse

以上配置完成后我的三台机器的JPS分别为:

z01:

 
技术分享图片
 

z02:

 
技术分享图片
 

z03:

 
技术分享图片
 

* Sqoop

** 什么?这个英文单词的意思?只能这么解释:

SQL-TO-HADOOP

看加粗部分即可明白,这个东西其实就是一个连接传统关系型数据库和Hadoop的桥梁,有如下两个主要功能:

** 把关系型数据库的数据导入到Hadoop与其相关的系统(HBase和Hive)中

** 把数据从Hadoop系统里抽取并导出到关系型数据库里

在转储过程中,sqoop利用mapreduce加快数据的传输速度,以批处理的方式进行数据传输。

如图所示:

 
技术分享图片
 

** 版本划分

** sqoop1(1.4.x+)和sqoop2(1.99.x+),注意这两个版本是完全不兼容的

** sqoop2的进化:

*** 引入了sqoop server,集中化管理Connector

*** 多种访问方式:CLI,Web UI,REST API

*** 引入基于角色的安全机制

** sqoop设计架构

 
技术分享图片
 

** sqoop使用逻辑

 
技术分享图片
 

基于上图,我们需要理解几个概念:

** import:

向HDFS、hive、hbase中写入数据

** export

向关系型数据库中写入数据

** 安装sqoop

*** 将sqoop压缩包解压至/opt/modules/cdh目录下

*** 拷贝sqoop-env-template.sh文件并命名为sqoop-env.sh文件

*** 配置sqoop-env.sh

根据里面的英文注释,应该也能够明白需要改些什么:没错,就是让sqoop去关联其他服务,hbase先不用管它。

配置好后如图:

 
技术分享图片
 

*** 拷贝jdbc的驱动到sqoop的lib目录下

$ cp /opt/modules/apache-hive-0.13.1-bin/lib/mysql-connector-java-5.1.27-bin.jar lib/

** 开始玩耍sqoop

*** 查看sqoop帮助:

$ bin/sqoop help,如图:

 
技术分享图片
 

*** 测试sqoop是否连接成功

$ bin/sqoop list-databases --connect jdbc:mysql://z01:3306/metastore --username root --password 123456

如图:

 
技术分享图片
 

* 接下来我们写几个例子,功能用法便可一目了然

例子1:RDBMS->HDFS

利用sqoop将mysql中的数据导入到HDFS中

step1、在mysql中创建一张表,表里面弄点数据

开启mysql服务:

# systemctl start  mysqld.service

登入mysql服务:

# mysql -uroot -p123456

创建一个新的数据库:

mysql> create database db_demo;

创建完成后,显示一下,如图:

 
技术分享图片
 

在db_demo下创建一张表:

mysql> use db_demo;

mysql> create table user(

-> id int(4) primary key not null auto_increment,

-> name varchar(255) not null,

-> sex varchar(255) not null

-> );

如图:

 
技术分享图片
 

step2、向刚才创建的这张表中导入一些数据

mysql> insert into user(name, sex) values(‘Thomas‘,‘Male‘); 如果需要插入行数据,你知道怎么做。

最后我的表变成了这样:

 
技术分享图片
 

step3、使用sqoop导入数据至HDFS

形式1:全部导入

$ bin/sqoop import \

--connect jdbc:mysql://z01:3306/db_demo \

--username root \

--password 123456 \

--table user \

--target-dir /user/hive/warehouse/user \

--delete-target-dir \

--num-mappers 1 \

--fields-terminated-by "\t"

解释:

** --target-dir /user/hive/warehouse/user: 指定HDFS输出目录

** --delete-target-dir \:如果上面输出目录存在,就先删除

** --num-mappers 1 \:设置map个数为1,默认情况下map个是4,默认会在输出目录生成4个文件

** --fields-terminated-by \t:指定文件的分隔符为 \t

成功后,HDFS对应目录中会产生一个part文件,如图所示:

 
技术分享图片
 

查看该文件:

 
技术分享图片
 

形式2:导入指定查询结果

$ bin/sqoop import \

--connect jdbc:mysql://z01:3306/db_demo \

--username root \

--password 123456 \

--target-dir /user/hive/warehouse/user \

--delete-target-dir \

--num-mappers 1 \

--fields-terminated-by "\t" \

--query ‘select id,name from user where id>=3 and $CONDITIONS‘

解释:

--query ‘select id,name from user where id>=3 and $CONDITIONS‘ :把select语句的查询结果导入

形式3:导入指定列

$ bin/sqoop import \

--connect jdbc:mysql://z01:3306/db_demo \

--username root \

--password 123456 \

--table user \

--target-dir /user/hive/warehouse/user \

--delete-target-dir \

--num-mappers 1 \

--fields-terminated-by "\t" \

--columns  id,sex

形式4:where指定条件

$ bin/sqoop import \

--connect jdbc:mysql://z01:3306/db_demo \

--username root \

--password 123456 \

--table user \

--target-dir /user/hive/warehouse/user \

--delete-target-dir \

--num-mappers 1 \

--fields-terminated-by "\t" \

--columns  id,name \

--where "id<=3"

例子2:Mysql -> Hive

利用sqoop将mysql里面的数据导入到Hive表

Step1、创建hive表(注:如果不创建,则自动生成表)

hive> create database db_hive_demo ;

create table db_hive_demo.user (

id int,

name string,

sex string

)

row format delimited fields terminated by "\t" ;

操作如图:

 
技术分享图片
 

Step2、向hive中导入数据

$ bin/sqoop import \

--connect jdbc:mysql://z01:3306/db_demo \

--username root \

--password 123456 \

--table user \

--num-mappers 1 \

--hive-import \

--hive-database db_hive_demo \

--hive-table user \

--fields-terminated-by "\t" \

--delete-target-dir \

--hive-overwrite

完成后,查看:

 
技术分享图片
 

例子3:Hive/HDFS -> RDBMS

从Hive或HDFS中把数据导入mysql

Step1、在mysql中创建一个待导入数据的表

mysql> use db_demo;

mysql> create table user_from_hadoop(

-> id int(4) primary key not null auto_increment,

-> name varchar(255) default null,

-> sex varchar(255) default null

-> );

如图:

 
技术分享图片
 

Step2、将hive或者hdfs中的数据导入到mysql表中

$ bin/sqoop export \

--connect jdbc:mysql://z01:3306/db_demo \

--username root \

--password 123456 \

--table user_from_hadoop \

--num-mappers 1 \

--export-dir /user/hive/warehouse/db_hive_demo.db/user \

--input-fields-terminated-by "\t"

导入成功后,查看:

 
技术分享图片
 

* Sqoop 其他用法

类似hive,sqoop也可以将语句保存在文件中,然后执行这个文件。

例如:

编写该文件:

$ mkdir opt/

vi opt/job_temp.opt,内容如图:

 
技术分享图片
 

 

执行该文件:

$ bin/sqoop  --options-file opt/job_temp.opt,完成后查看该hive表,如图:

 
技术分享图片
 

* 总结

本节讲解了如何在CDH中配置使用hadoop、hive、sqoop,以及学习了整个操作流程,大家可以自己试着练习一下,数据分析并把结果输出到Mysql数据库中以便于接口等服务。


个人微博:http://weibo.com/seal13

QQ大数据技术交流群(广告勿入):476966007



作者:Z尽际
链接:https://www.jianshu.com/p/dd19e15a4de0
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

Sqoop框架基础

标签:gem   delete   转储   解释   cap   rem   pac   zook   国内   

原文地址:https://www.cnblogs.com/wzlbigdata/p/8277680.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!