本文探讨了消息总线的扩展方向——面向消息的数据集成的可行性。...
分类：
其他好文 时间：
2015-04-05 20:29:37
阅读次数：
211
XML现在已经成为一种通用的数据交换格式,它的平台无关性,语言无关性,系统无关性,给数据集成与交互带来了极大的方便。对于XML本身的语法知识与技术细节,需要阅读相关的技术文献,这里面包括的内容有DOM(Document Object Model),DTD(Document Type Defini.....
分类：
编程语言 时间：
2015-03-18 23:16:31
阅读次数：
165
政府部门对大数据进行应用，不仅要处理多种来源和不同格式的数据集成等一般问题外，还面临着一些独特的挑战，最大的挑战是数据采集。由于政府部门收集的数据不仅从各种社交媒体、网站和众包中获取，还可以从不同的国家和机构中采集，收集难度就不难想象了。并且，国家之间的数据和信息共享是一个不小的问题，因为跨国共享信...
分类：
其他好文 时间：
2015-03-14 18:13:09
阅读次数：
229
数据预处理的目的：提高数据质量，数据质量的三要素：准确性、完整性、一致性。 数据预处理的任务： 数据清理 数据集成 数据规约 数据变换 数据清理——填充缺失的值、光滑噪声、识别离群点、纠正数据中的不一致 缺失值： 忽略元组 人工填写缺失值 使用一个全局常量 使用属性的中心度量 使用与给定元组属同一类...
分类：
其他好文 时间：
2015-03-12 00:57:10
阅读次数：
143
东方通国产化基础软件——数据集成软件TongETL。合作请联系，QQ1421067726；微信transrock传输战舰，谢谢...
分类：
其他好文 时间：
2015-03-11 12:55:44
阅读次数：
820
数据集成是当下比較热门的话题，相关的产品和平台也越来越多。非常多CIO都在各种数据集成平台和产品之间犹豫不决。因此对数据集成平台的框架体系有全面的理解，对各个厂家产品所提供的功能有深入的认识才干为数据平台选型的决策提供可靠的保证。我有幸參与了国内一个知名企业的集成平台的设计工作，并主导了数据集成平台...
分类：
其他好文 时间：
2015-03-06 16:49:08
阅读次数：
398
XML现在已经成为一种通用的数据交换格式,平台的无关性使得很多场合都需要用到XML。本文将详细介绍用Java解析XML的四种方法。XML现在已经成为一种通用的数据交换格式,它的平台无关性,语言无关性,系统无关性,给数据集成与交互带来了极大的方便。对于XML本身的语法知识与技术细节,需要阅读相关的技术...
分类：
编程语言 时间：
2015-02-28 15:57:09
阅读次数：
179
数据预处理章节，整理于《数据挖掘·概念与技术》第三章，如有错误，请指正，谢谢~1、概述 数据清理可以去除数据中的噪声，纠正不一致。数据集成将数据由多个数据源合并成一个一致的数据进行存储，如数据仓库。数据规约可以通过如聚集，删除冗余特征或聚类降低数据的规模。数据变换（如规约化）可以把数据压缩到较小的....
分类：
其他好文 时间：
2015-01-31 15:59:47
阅读次数：
238
本文利用twitter做为数据源，介绍使用Oracle大数据平台及Oralce Data Integrator工具，完成从twitter抽取数据，在hadoop平台上处理数据，并最终加载到oracle数据库。数据集成分为三个阶段：获取、整理、分析和决策。 本文从实际出发，讲述大数据处理的真实案例，....
分类：
其他好文 时间：
2015-01-09 19:17:27
阅读次数：
248
一：为什么要预处理数据？
（1）现实世界的数据是肮脏的（不完整，含噪声，不一致）
（2）没有高质量的数据，就没有高质量的挖掘结果（高质量的决策必须依赖于高质量的数据；数据仓库需要对高质量的数据进行一致地集成）
（3）原始数据中存在的问题：
不一致 —— 数据内含出现不一致情况
重复
不完整 —— 感兴趣的属性没有
含噪声 —— 数据中存在着错误、或异常（偏离期望值）的数据
高维度...
分类：
其他好文 时间：
2014-12-23 12:31:19
阅读次数：
193
