Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra,...
分类：
其他好文 时间：
2015-03-13 12:28:34
阅读次数：
218
SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中 (3)导入导出的事务是以Mapper任务为单位。1、sqoop的安装步骤 1....
分类：
其他好文 时间：
2015-02-28 18:05:17
阅读次数：
199
首先是安装mysql数据库。使用 sudo apt-get install mysql-server命令即可安装完成。然后进行表的创建和插入数据。如图。然后下载sqoop和连接mysql数据库的jar包。接下来是安装sqoop。首先是配置sqoop-env.sh文件。如图。然后将config-sqo...
分类：
数据库 时间：
2015-02-13 21:02:51
阅读次数：
201
1，商城：是单商家，多买家的商城系统。数据库是mysql，语言java。2，sqoop1.9.33：在mysql和hadoop中交换数据。3，hadoop2.2.0：这里用于练习的是伪分布模式。4，完毕内容：喜欢该商品的人还喜欢，同样购物喜好的好友推荐。步骤：1，通过sqoop从mysql中将 “用...
分类：
其他好文 时间：
2015-02-11 14:13:58
阅读次数：
684
hadoop版本：Hadoop 2.3.0-cdh5.0.0
sqoop版本：Sqoop 1.4.4-cdh5.0.0
配置好sqooop-env.xml:
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/my/hadoop
#Set path to where hadoop-*-...
分类：
其他好文 时间：
2015-02-08 23:16:27
阅读次数：
364
一、业务说明
使用Hadoop2及其他开源框架，对本地的日志文件进行处理，将处理后需要的数据（PV、UV...）重新导入到关系型数据库（Mysql）中，使用Java程序对结果数据进行处理，组织成报表的形式在数据后台进行展示。
二、为什么使用Hadoop(开发动机)
现有的日志处理方式，是采用纯的java程序来计算的，对于大数据的日志文件来说，这种方案在处理速度、IO占用、数据备份及资源...
分类：
数据库 时间：
2015-02-05 20:34:11
阅读次数：
280
sqoop2-1.99.3和sqoop2-1.99.4版本操作略有不同，sqoop2-1.99.3版本参见：Sqoop2入门之导入关系型数据库数据到HDFS上启动sqoop2-1.99.4版本客户端：$SQOOP2_HOME/bin/sqoop.sh client set server --host...
分类：
数据库 时间：
2015-02-02 12:25:24
阅读次数：
279
问题导读：
1、使用Sqoop哪个工具实现多表导入？
2、满足多表导入的三个条件是？
3、如何指定导入HDFS某个目录？如何指定导入Hive某个数据库？
一、介绍
有时候我们需要将关系型数据库中多个表一起导入到HDFS或者Hive中，这个时候可以使用Sqoop的另一个工具sqoop-import-all-tables。...
分类：
数据库 时间：
2015-01-20 15:52:47
阅读次数：
302
一、简介及部分重要参数介绍
Sqoop除了能够将数据从关系型数据库导入到HDFS和Hive中，还能够导入到HBase表中。
--hbase-table：通过指定--hbase-table参数值，指明将数据导入到HBase表中，而不是HDFS上的一个目录。输入表中的每一行将会被转换成一个HBase Put操作的输出表的一行。
--hbase-row-...
分类：
数据库 时间：
2015-01-20 12:08:54
阅读次数：
295
