声明：原创作品，转载时请注明文章来自SAP师太技术博客：www.cnblogs.com/jiangzhengjun，并以超链接形式标明文章原始出处，否则将追究法律责任！原文链接：http://www.cnblogs.com/jiangzhengjun/p/4296806.html 第1步就是使用RS...
分类：
其他好文 时间：
2015-02-21 01:24:33
阅读次数：
174
声明：原创作品，转载时请注明文章来自SAP师太技术博客：www.cnblogs.com/jiangzhengjun，并以超链接形式标明文章原始出处，否则将追究法律责任！原文链接：http://www.cnblogs.com/jiangzhengjun/p/4296528.html 通信结构、抽取数据...
分类：
其他好文 时间：
2015-02-20 16:20:24
阅读次数：
166
声明：原创作品，转载时请注明文章来自SAP师太技术博客：www.cnblogs.com/jiangzhengjun，并以超链接形式标明文章原始出处，否则将追究法律责任！原文链接：http://www.cnblogs.com/jiangzhengjun/p/4287014.html 员工0HR_PA_...
分类：
其他好文 时间：
2015-02-11 23:13:30
阅读次数：
416
1．引言1.1编写目的将之前会议中记录的设计要点进行总结和规划，供团队内开发者和测试人员进行代码编写与测试。1.2项目背景软件名: 网络资源收集工具本软件任务:为下一组元数据抽取和整理工具进行对接，为下一组提供其所需的各类海量数据。2．总体设计2.1需求概述将35w+个符合条件的网页，问答，文章放入...
分类：
其他好文 时间：
2015-01-15 07:03:06
阅读次数：
247
1．引言1.1编写目的将之前会议中记录的设计要点进行总结和规划，供团队内开发者和测试人员进行代码编写与测试。1.2项目背景 软件名: 网络资源收集工具本软件任务:为下一组元数据抽取和整理工具进行对接，为下一组提供其所需的各类海量数据。2．任务概述2.1目标总的目标是编写一个更快捷，更稳定的爬虫软件，...
分类：
其他好文 时间：
2015-01-15 07:02:17
阅读次数：
178
专业既然是机器学习，那工作肯定也是继续和数据打交道，那么问题来了，很多时候推荐算法和数据挖掘算法都是现成可用的，平台初建，重点还在数据过滤和抽取，怎样高效的抽取数据？
利用往常算法比赛中常用的字符串处理方法吗，omg，维护它是一个淡淡疼的忧伤。
那么，重点来了，正则表达式，干净利落。
模版如下：
//step1,set reg string
String r...
分类：
编程语言 时间：
2014-12-19 00:41:32
阅读次数：
265
原文:《BI那点儿事》ETL中的关键技术
ETL（Extract/Transformation/Load）是BI/DW的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。
ETL过程中的主要环节就是数据抽取、数据转换和加工、数据...
分类：
其他好文 时间：
2014-12-10 14:05:23
阅读次数：
215
ETL（Extract/Transformation/Load）是BI/DW的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。ETL过程中的主要环节就是数据抽取、数据转换和加工、数据装载。为了实现这些功能，各个ETL工具一般会...
分类：
其他好文 时间：
2014-12-04 21:15:15
阅读次数：
370
增量抽取 增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到；性能，不能对业务系统造成太大的压力，影响现有业务。目前...
分类：
其他好文 时间：
2014-10-26 01:36:07
阅读次数：
147
数据抽取的开源工具一个是RDBMS一个是基于分布式的数据ETL工具====================原则： 主要是映射规则，基础字典数据，详细数据注意与ESB的编程模型的差异（编程思想上）
分类：
其他好文 时间：
2014-09-24 03:20:35
阅读次数：
302
