sqoop产生背景多数是用Hadoop技术处理大数据业务的企业有大量的数据存储在传统的关系型数据库（RDBMS）中；由于缺乏工具的支持、对Hadoop和传统数据库系统中的数据进行相互传输是一件十分困难的事情；Sqoop就是一个在RDBMS和Hadoop之间进行数据传输的项目；sqoop概述sqoop...
分类：
其他好文 时间：
2014-08-06 18:04:35
阅读次数：
236
1.环境工具版本介绍centos6.4(Final)jdk-7u60-linux-i586.gzhadoop-1.1.2.tar.gzsqoop-1.4.3.bin__hadoop-1.0.0.tar.gzmysql-5.6.11.tar.gz2.安装centos参照网上Ultra的使用制作了U盘启动，直接格式化安装系统，具体做法网上资料很多，但注意最好不要在安装时改主机名称，也最..
分类：
其他好文 时间：
2014-07-31 13:40:27
阅读次数：
264
mysql 安装的主机:192.168.1.108，用户名：root,密码：root? ?(1)列出mysql数据库中的所有数据库命令 ? #? sqoop list-databases --connect jdbc:mysql://192.168.1.108:3306/ --username root --password r...
分类：
其他好文 时间：
2014-07-29 16:19:19
阅读次数：
215
1、mysql-- 创建数据库create database logs;-- 使用use logs;-- 创建表create table weblogs(md5varchar(32),urlvarchar(64),request_datedate,request_timetime,ipvarchar...
分类：
数据库 时间：
2014-07-28 15:01:03
阅读次数：
262
create database logs;use logscreate table weblogs_from_hdfs(md5varchar(32),urlvarchar(64),request_datedate,request_timetime,ipvarchar(15));sqoop expor...
分类：
数据库 时间：
2014-07-28 14:47:33
阅读次数：
387
Sqoop执行命令：./sqoopimport--connectjdbc:oracle:thin:@10.112.101.251:1621:crmadbmr--usernamebass_etl--password75!n!u6J--tableDBPMSADM.PD_USERSVC_INFO_00-m4--target-dir/ext/ods/PD_USERSVC_INFO_00/2014071906执行日志：crmd3n:/d2_data0/user/ocdc/bin/sqoop-1.4...
分类：
数据库 时间：
2014-07-21 19:27:52
阅读次数：
1653
Sqoop执行命令：./sqoopimport--connect"jdbc:db2://10.105.4.55:50001/SCCRM55"--usernamedb2inst1--passworddb2opr2010--tableWF_4G_BILLDETAIL_NEW_20140717--fetch-size1000-m1--target-dir/ext/ods/ODS_RPT_DAY_DET/20140717_1--fields-terminated-by‘&‘--lines-termi..
分类：
数据库 时间：
2014-07-19 18:16:00
阅读次数：
550
hive中有些关键字限制，因此有些字段名称在mysql中可用，但是到了hive就不行。比如order必须改成order1, 下面列出了我们发现的一些不能在hive中使用的字段名称order => order1sort => sort1reduce => reduce1cast => cast1directory => directory1...
分类：
数据库 时间：
2014-07-19 11:33:04
阅读次数：
263
从hive将数据导出到mysqlhttp://abloz.com2012.7.20author:周海汉在上一篇文章《用sqoop进行mysql和hdfs系统间的数据互导》中，提到sqoop可以让RDBMS和HDFS之间互导数据，并且也支持从mysql中导入到HBase，但从HBase直接导入mysq...
分类：
数据库 时间：
2014-07-18 20:00:07
阅读次数：
482
一个问题困扰了很久，用sqoop import从mysql数据库导入到HDFS中的时候一直报错，最后才发现是一个时间日期类型的非法值导致。hive只支持timestamp类型，而mysql中的日期类型是datetime， 当datetime的值为0000-00-00 00:00:00的时候，sqoop import无法将其转换成hive, 然后报错。解决方法是在hive中使用string字段类型。...
分类：
其他好文 时间：
2014-07-15 12:58:08
阅读次数：
342
