1.概要我打算分享一下，我开发Hadoop的一些心得，对于即将步入Hadoop行业的童鞋，希望我整理的这些博文对您有帮助，我打算分为以下几部分来描述。2.步骤 注：点击链接可直接跳到指定位置（1）Hadoop社区版集群的搭建（2）hive的安装部署（3）sqoop的安装部署（4）hbase和zook...
分类：
其他好文 时间：
2014-12-30 14:57:18
阅读次数：
162
安装在一台节点上就可以了。1. 使用winscp上传sqoop2. 安装和配置添加sqoop到环境变量将数据库连接驱动mysql-connector-5.1.8.jar拷贝到$SQOOP_HOME/lib里### 第一类：数据库中的数据导入到HDFS上sqoop import --connect j...
分类：
其他好文 时间：
2014-12-22 21:15:29
阅读次数：
232
需求：在使用Sqoop的时候需要从Linux服务器远程登录到Windows的MySql数据库，进行数据迁移时。1、使用命令登录mysql数据库 mysql -uroot -p1234562、mysql默认是不允许远程连接的，修改为可以使用远程连接 grantallon *.*to'root'@'.....
分类：
数据库 时间：
2014-12-22 12:34:26
阅读次数：
140
hadoop是有apache基金会所开发的分布式系统基础架构，其主要提供了两方面的功能：分布式存储和分布式计算。 其中分布式存储是分布式计算的基础，在hadoop的实现里面，提供了分布式存储的接口，并自己实现了一个分布式存储的实现即HDFS,但并不代表 hadoop只支持HDFS这一中实现，其同时支...
分类：
其他好文 时间：
2014-12-22 10:47:29
阅读次数：
164
一. sqoop安装：
安装在一台节点上就可以了。
1. 使用winscp上传sqoop
2. 安装和配置
添加sqoop到环境变量
将数据库连接驱动mysql-connector-5.1.8.jar拷贝到$SQOOP_HOME/lib里
二. sqoop的使用
### 第一类：数据库中的数据导入到HDFS上
sqoop import --connect jdbc:...
分类：
其他好文 时间：
2014-12-21 20:46:04
阅读次数：
223
sqoop import -D oraoop.disabled=true \--connect "jdbc:oracle:thin:@(description=(address=(protocol=tcp)(host=HOSTNAME)(port=PORT))(connect_data=(servi...
分类：
数据库 时间：
2014-12-10 17:38:11
阅读次数：
270
使用sqoop将mysql数据导入到hadoop...
分类：
数据库 时间：
2014-12-08 21:23:02
阅读次数：
282
hadoop的安装配置这里就不讲了。Sqoop的安装也很简单。完成sqoop的安装后，可以这样测试是否可以连接到mysql(注意：mysql的jar包要放到 SQOOP_HOME/lib 下)：sqoop list-databases --connect jdbc:mysql://192.168.1...
分类：
数据库 时间：
2014-12-08 19:07:13
阅读次数：
273
转至元数据起始
Apache Sqoop是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错。
项目地址：http://sqoop.apache.org/
目前为止，已经演化出了2个版本：sqoop1和sqoop2。
sqoop1的最新版本是1.4....
分类：
其他好文 时间：
2014-12-05 14:21:44
阅读次数：
335
今天讲讲怎么用sqoop将Hbase或者Hive的东西导出到mysql。不过事先要告诉大家：目前sqoop没有办法把数据直接从Hbase导出到mysql。必须要通过Hive建立2个表，一个外部表是基于这个Hbase表的，另一个是单纯的基于hdfs的hive原生表，然后把外部表的数据导入到原生表（临时），然后通过hive将临时表里面的数据导出到mysql...
分类：
数据库 时间：
2014-12-05 09:15:17
阅读次数：
438
