使用Sqoop把oracle数据库中的一张表，这里假定为student，当中的数据导入到hdfs中，然后再创建hive的external表，location到刚才保存到hdfs中数据的位置。最后发现对hive中表特定条件进行count时结果和oracle中结果不一致。 sqoop import --
分类：
数据库 时间：
2016-03-19 01:01:14
阅读次数：
1031
使用多少个mapreduce来进行移植数据，例如：./sqoopimport--create-hive-table--hive-import--hive-overwrite--connectjdbc:oracle:thin:@XXX.XXX.XXX.XXX:1521:orcl--usernamename--passwordpwd--tabletablename--hive-databasehivedatabasename-m5上面使用了5个任务，然后数..
分类：
其他好文 时间：
2016-03-16 19:23:58
阅读次数：
222
1. hadoop、hbase、hive、spark、strom、mapreduce、mahout、zookeeper. 2.redis、dubbo、mongodb、memcache、kafka、sqoop. 3. autofac、unity、xunit. 4.serfj restlet httpc
分类：
其他好文 时间：
2016-03-09 23:48:33
阅读次数：
171
软件版本：Sqoop：1.99.4；JDK：1.7；Hadoop2.2；环境：1. Hadoop集群：node12:NameNode、ResourceManager、JobHistoryServer、DataNode、NodeManager； 1.5G内存+10G硬盘+1核node13:SecondaryNameNode、DataNode、NodeManager；1.5G内存+10G硬盘+1核2....
分类：
编程语言 时间：
2016-03-08 15:00:38
阅读次数：
613
近期的项目中，需要将hadoop运行完成的结果（存在于hdfs上）导入到oracle中，但是在用sqoop导入hdfs中的日期字段'2016-03-01'时，sqoop报错，说date类型必须为'yyyy-mm-dd HH:MM:SS.ffffffff'. 难道sqoop不支持自定义to_date函
分类：
数据库 时间：
2016-03-02 19:47:56
阅读次数：
271
[Author]: kwu Sqoop处理Clob与Blob字段，在Oracle中Clob为大文本。Blob存储二进制文件。遇到这类字段导入hive或者hdfs须要特殊处理。 1、oracle中的測试表 CREATE TABLE T_LOB ( A INTEGER, B CLOB, C BLOB )
分类：
其他好文 时间：
2016-02-28 09:53:02
阅读次数：
439
这里讲解下用户画像的技术架构和整体实现，那么就从数据整理、数据平台、面向应用三个方面来讨论一个架构的实现（个人见解）。 数据整理： 1、数据指标的的梳理来源于各个系统日常积累的日志记录系统，通过sqoop导入hdfs,也可以用代码来实现，比如spark的jdbc连接传统数据库进行数据的cache。还
分类：
其他好文 时间：
2016-02-27 13:42:36
阅读次数：
138
Sqoop currently do not support splitting data on N(LONG)(VAR)CHAR column types. We're however supporting splitting on (LONG)(VAR)CHAR using TextSplitt
分类：
其他好文 时间：
2016-02-26 20:35:26
阅读次数：
140
记录sqoop同步失败问题解决过程，过程真的是很崎岖。事发原因:最近突然出现sqoop export to mysql时频繁出错。看了下日志是卡在某条数据过不去了，看异常。看sqoop生成的mr并未发现问题。最后把要export的原始数据拿notepad++打开发现中断的数据是奇怪的乱码，查了一下是
分类：
其他好文 时间：
2016-02-01 18:04:14
阅读次数：
212
