Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
移动开发 时间：
2014-09-13 18:34:35
阅读次数：
300
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
移动开发 时间：
2014-09-13 17:05:15
阅读次数：
333
sqoop hive-0.13 hadoop-2.2.0...
分类：
数据库 时间：
2014-09-12 20:47:04
阅读次数：
275
Sqoop2是一个CS的架构，客户端包括sqoop-shell和sqoop-client，服务器端包括sqoop-server，sqoop-server就是一个部署在Tomcat下的web应用，由几个servlet组成。
调试sqoop-shell
调试sqoop-shell就是在启动sqoop client main方法时，加上调试参数。
sqoop-shell的启动方式为：sqoop.s...
分类：
其他好文 时间：
2014-09-12 13:33:43
阅读次数：
183
最近在做binlog日志采集同步到数据平台的事。刚开始需要借助sqoop将从库数据表数据初始化到hbase中，整个过程都需要自动化进行，尽量减少人为干预。但是，由于历史原因，线上存在两种字符集格式的数据库（表），而导入到hbase的数据我们需要统一采用utf-8格式存储。sqoop直接导入的话，没法控制中文字符转码工作。所以需要对sqoop源码进行简单改动支持这种方式。
大体思路是，通过定义一个...
分类：
数据库 时间：
2014-09-11 19:26:02
阅读次数：
573
sqoop 导入 hive
hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)B
ERROR tool.ImportTool: Encountered IOException running import ...
分类：
编程语言 时间：
2014-09-08 03:15:26
阅读次数：
432
原始思路
要想实现增量导入，完全可以不使用Sqoop的原生增量特性，仅使用shell脚本生成一个以当前时间为基准的固定时间范围，然后拼接Sqoop命令语句即可。
原生增量导入特性简介
Sqoop提供了原生增量导入的特性，包含以下三个关键参数：
Argument
Description
--check-column (col...
分类：
其他好文 时间：
2014-08-27 18:40:48
阅读次数：
332
oracle数据库中Date类型倒入到hive中出现时分秒截断问题解决方案1.问题描述： 用sqoop将oracle数据表倒入到hive中，oracle中Date型数据会出现时分秒截断问题，只保留了‘yyyy-MM-dd',而不是’yyyy-MM-dd HH24:mi:ss'格式的，后面的‘HH2....
分类：
数据库 时间：
2014-08-25 22:31:04
阅读次数：
589
引言：
上一篇文章《【甘道夫】Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ，并更新Hive中的主表》http://blog.csdn.net/u010967382/article/details/38735381 描述了增量更新Hive表的原理和Sqoop，Hive命令，本文基于上一篇文章的内容实现了shell脚本的编写，稍加修改就可用于实际工程...
分类：
其他好文 时间：
2014-08-25 19:18:54
阅读次数：
289
需求
将Oracle中的业务基础表增量数据导入Hive中，与当前的全量表合并为最新的全量表。
设计
涉及的三张表：
全量表：保存了截止上一次同步时间的全量基础数据表
增量表：增量临时表
更新后的全量表：更新后的全量数据表
步骤：
通过Sqoop将Oracle中的表导入Hive，模拟全量表和增量表
通过Hive将“全量...
分类：
数据库 时间：
2014-08-21 19:22:14
阅读次数：
455
