一、使用Sqoop抽取数据
1. Sqoop简介
Sqoop是一个在Hadoop与结构化数据存储（如关系数据库）之间高效传输大批量数据的工具。它在2012年3月被成功孵化，现在已是Apache的顶级项目。Sqoop有Sqoop1和Sqoop2两代，Sqoop1最后的稳定版本是1.4.6，Sqoop2最后版本是1.99.6。需要注意的是，1.99.6与1.4.6并不兼容，而且截止...
分类：
其他好文 时间：
2016-07-03 19:46:17
阅读次数：
305
什么是数据抽取 数据抽取是指从源数据源系统抽取目的数据源系统需要的数据。实际应用中，数据源较多采用的是关系数据库。 [编辑] 数据抽取的方式 (一) 全量抽取 全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数 据库中抽取出来，并转换成自己的ETL 工具可以识别的格式。全量 ...
分类：
其他好文 时间：
2016-05-19 14:55:49
阅读次数：
357
作为数据库开发人员，你需要因各种目的经常抽取数据，例如创建报表。你可以使用SQL查询从数据库服务器抽取数据。
本章解释如何通过执行SQL查询从数据库表中抽取选择的数据。进一步，讨论如何使用函数以自定义查询返回的数据值。而且，本章解释如何从数据库表中抽取汇总和分组的数据
重点
...
分类：
数据库 时间：
2016-05-15 11:06:47
阅读次数：
281
抽取和提交数据虽然也很重要，但是只是传输和装载数据而已。 数据的清洗和归一化是ETL系统为数据增值的步骤，实际上改变了数据。 子系统4——数据清洗系统 主要用于修正脏数据，同时又希望数据仓库提供该数据的准确描述。 数据清洗的目标之一是提供一个用于数据清洗的综合架构，捕捉与数据质量相关的事件，同时在数... ...
分类：
其他好文 时间：
2016-04-21 20:17:39
阅读次数：
147
一、把数据从HDFS抽取到RDBMS
1. 从下面的地址下载示例文件。
http://wiki.pentaho.com/download/attachments/23530622/weblogs_aggregate.txt.zip?version=1&modificationDate=1327067858000
2. 用下面的命令把解压缩后的weblogs_aggregate.txt文...
分类：
其他好文 时间：
2016-04-16 19:33:03
阅读次数：
198
1、触发器方式 触发器方式是普遍采取的一种增量抽取机制。该方式是根据抽取要求，在要被抽取的源表上建立插入、修改、删除3个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个增量日志表，ETL的增量抽取则是从增量日志表中而不是直接在源表中抽取数据，同时增量日志表中抽取过的数据要及时被 ...
分类：
其他好文 时间：
2016-04-09 10:37:40
阅读次数：
207
今天下午没事干。主要是论文没有什么进展，唉！读研苦逼啊。突然想玩玩其他的，记得上次用JSP和Servlet是几个月前的事了。于是就任性的玩一回报表。
首先我是默认你不是菜鸟了，而且用过JSP和Servlet，会Java Web的基础知识，会使用Jdbc连接数据库。这些都是必要的知识，否则接下来的内容将没法讲解。
一、报表生成的关键要素
1、后台数据的抽取
2、数据项的逻辑运算
3、前台使...
分类：
编程语言 时间：
2016-04-08 15:18:29
阅读次数：
292
做了几年开发，头一次把自己写的一套完整代码开源了，将我在公司中写的一套代码，去业务化，将其完全通用化（当时我设计程序结构时就是往这个方向做的），适配各种业务系统，主要功能用于同步数据库系统中的数据，采用的是通过SQL语句抽取数据，打包的方式进行，目前原版系统Synch2.0已经用于中国某政府部门的系统中，并已经全国推广上线，用于上级部门下发表结构、数据等至下级单位；我的这套Synch4j就是从Sy...
分类：
其他好文 时间：
2016-04-05 17:57:08
阅读次数：
281
最近在用sqoop1.99.6做数据抽取，期间遇到了很多问题，特此在这里记录一下，方便以后的回顾与整理 1.首先配置的时候，需要配置hdfs的lib目录到catalina.properties common.loader=${catalina.base}/lib,${catalina.base}/l ...
分类：
数据库 时间：
2016-03-31 16:49:01
阅读次数：
195
