先对其进行介绍： 数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。[1] 数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为 ...
分类：
其他好文 时间：
2016-06-22 21:54:11
阅读次数：
204
无论是产品，还是信息，质量都是非常重要的。信息的质量是指信息的准确性、完整性、一致性等。在许多数据库应用系统中，数据质量的高低往往是导致系统成功与否的重要因素。数据完整性是保证数据质量的一种重要方法，是现代数据库系统的一个重要特征。
Microsoft SQL Server 2008系统提供了一系列的数据完整性方法和机制，例如约束、触发器等。其中，约束技术是应用最为广泛的数据完整性方法。
...
分类：
数据库 时间：
2016-05-18 18:12:37
阅读次数：
225
web数据集成技术可以从web上自动获取数据，但是获取的信息存在着大量的脏数据，比如滥用缩写词，惯用语，数据输入错误，重复记录，丢失值，拼写变化，不同的计量单位。这些数据是没有意义的，根本就不可能为以后的数据挖掘决策分析提供任何支持。数据清洗主要是提高数据的可用性，目前，数据清洗主要应用于三个领域：
1 数据仓库（DW）
2数据库中的知识发现（KDD）
3数据质量管理（TDQM)
我在公司...
分类：
其他好文 时间：
2016-05-07 07:30:58
阅读次数：
598
抽取和提交数据虽然也很重要，但是只是传输和装载数据而已。 数据的清洗和归一化是ETL系统为数据增值的步骤，实际上改变了数据。 子系统4——数据清洗系统 主要用于修正脏数据，同时又希望数据仓库提供该数据的准确描述。 数据清洗的目标之一是提供一个用于数据清洗的综合架构，捕捉与数据质量相关的事件，同时在数... ...
分类：
其他好文 时间：
2016-04-21 20:17:39
阅读次数：
147
系统的信息模型从存储的内容方面可以分为，STAGE接口信息模型、ODS/DWD信息模型，MID信息模型、DM信息模型、元数据信息模型。 在各个信息模型中存储的内容如下描述： 1) SRC接口层信息模型：提供业务系统数据文件的临时存储，数据稽核，数据质量保证，屏蔽对业务系统的干扰，对于主动数据采集方式 ...
分类：
其他好文 时间：
2016-03-24 10:02:05
阅读次数：
4266
前面的章节中，主要都是在围绕关系数据库理论进行研究，没有涉及到数据库系统的具体实现。虽说数据库系统的具体实现因业务环境，RDBMS等因素而异，但总体开发流程，以及开发过程中所涉及到的一些问题，也具有不少统一的套路、标准。本文主要讨论数据库系统实现过程中的重点环节、基本开发流程、数据库管理以及数据质量...
分类：
数据库 时间：
2016-03-20 11:50:52
阅读次数：
425
3.1 数据预处理 数据质量的三个要素：准确性、完整性和一致性。 3.1.2 数据预处理的主要任务 数据清理：填写缺失的值，光滑噪声数据，识别或删除离群点，并解决不一致性来”清理“数据。 数据集成： 数据归约: 3.2 数据清理 3.2.1 缺失值 1.忽略元组 2.人工填写缺失值 3.使用一个全局
分类：
其他好文 时间：
2016-02-14 22:10:12
阅读次数：
288
基于边合成边测序（Sequencing By Synthesis，SBS）技术，Illumina HiSeq2500高通量测序平台对cDNA文库进行测序，能够产出大量的高质量Reads，测序平台产出的这些Reads或碱基称为原始数据（Raw Data），其大部分碱基质量打分能达到或超过Q30。R.....
分类：
其他好文 时间：
2015-12-31 19:09:33
阅读次数：
10030
目前网上有多种全球高程数据，国内在这方面也进步喜人，资源三号目前已放出来的卫片给了不少惊喜，其高程数值得期待。但资源三号的高程数据放出来还需等待，过去两三年全球高程数据发展相当迅猛，DLR放出了相当高精度的数据，去年底aster gdem放出了修正后的第二版，数据质量改善很大，昨天又看到有网友介绍....
分类：
其他好文 时间：
2015-12-26 22:09:44
阅读次数：
137
大数据最烦的就是数据质量差，为了把数据导入到sequoiadb中，需要要求文本是UTF-8模式的，使用enca查看文件编码是gb2312，然后是enca转utf-8报错。google了整个地球都不知道原因，尝试使用python进行转码# -*- coding: utf-8 -*-import cod...
分类：
编程语言 时间：
2015-10-28 19:14:05
阅读次数：
448
