大数据与人工智能有什么关系呢？AI本身就是一种大数据的应用，特别是在对于AI系统进行训练的时候，使用的数据越多，AI系统就越先进。也就是说对于人工智能系统进行训练使用的数据量越大，数据质量越好，人工智能系统的质量就越高，从这个意义上来说AI本身也是一种大数据应用。 机器学习是人工智能的子集,深度学习 ...
分类：
其他好文 时间：
2018-12-10 20:53:37
阅读次数：
209
数据质量功能已经开发完毕，但是要实现单元测试覆盖率80%以上，其他的还好，只是这个工具类实在让我摸不着头脑，其实工具类的单元测试是最简单的，只是自己想复杂了而已； 无返回值模拟： 有返回值模拟： 异常场景模拟： ...
分类：
其他好文 时间：
2018-11-13 16:19:03
阅读次数：
298
一.作为企业架构师，我们为什么需要构建数据结构？ 数据结构主要有以下内容： 1）数据标准不一致 2）数据模型管理混乱 3）深入的性能的问题无法解决 4）SQL语句编写水平不高导致出现严重性能问题 5）开发人员对执行计划收悉 6）上线前缺乏审计 7）相对复杂的数据处理能力欠缺 8）数据质量差需要执行数 ...
分类：
编程语言 时间：
2018-11-04 23:00:39
阅读次数：
231
生信研究内容 目前生物信息学 的研究情况来看，国际上公认的生物信息学的研究内容，大致包括以下几个方面： 1. 生物信息的收集、存储、管理与提供。包括建立国际基本生物信息库和生物 信息传输的国际联网系统；建立生物信息数据质量的评估与检测系统；生物信息的在线服务；生物信息可视化和专家系统。 2. 基因组 ...
分类：
其他好文 时间：
2018-10-15 23:11:50
阅读次数：
201
组合导航初理解 转自博客：https://blog.csdn.net/sinat_19447667/article/details/77686581 1.INS的优点： 能够根据测试得到的速度变化量和角度变化量而持续输出位置和速度；缺点： 输出的是一个相对值，同时存在积分累积误差； 2.GPS的优点 ...
分类：
其他好文 时间：
2018-08-12 13:59:13
阅读次数：
148
数据预处理 是指因为算法或者分析需要，对经过数据质量检查后的数据进行转换、衍生、规约等操作的过程。整个数据预处理工作主要包括 五个方面内容 ：简单函数变换、标准化、衍生虚拟变量、离散化、降维。本文将作展开介绍，并提供基于Python的代码实现。 1. 简单函数变换 简单函数变换 是指对原始数据直接使 ...
分类：
其他好文 时间：
2018-05-12 03:12:18
阅读次数：
174
数据质量分析 脏数据包括：缺失值；异常值；不一致的值；重复数据及含有特殊符号的数据； 1.缺失值处理 统计缺失率，缺失数 2.异常值处理 （1）简单统计量分析 （2）3Q原则 正态分布情况下，小概率事件为异常值 不服从正太分布的，可以用原离平均值多少倍标准差来分析 （3）箱线图分析 使用descri ...
分类：
编程语言 时间：
2018-04-19 15:02:38
阅读次数：
171
各种数据分析技术的对象是数据源中的数据数据源中的数据可能不完整（如某些属性的值不确定或空缺）、含噪声和不一致（如同一个属性在不同表中的名称不同）、量纲不同如果直接在这些未经处理的数据上进行分析，结果不一定准确，效率也可能较低需要使用清理、集成、变换、归约等预处理方法改善数据质量，从而提高数据分析的效率与质量主要介绍数据清理、集成、变换、规约等预处理技术数据清理用于消除噪声、数据不一致及数据不完整噪
分类：
其他好文 时间：
2018-04-11 11:42:31
阅读次数：
185
数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般指的是不符合要求，以及不能直接进行相应分析的数据。数据的质量分析侧重于脏数据的发现，而数据清洗则是对这些脏数据的修正或者丢弃。一般情况下，数据的质量分析与数据清洗是相伴而行的，在分析出脏数据的时候伴随着数据的清洗。 常见的脏数据包括如下 ...
分类：
其他好文 时间：
2018-04-01 20:49:12
阅读次数：
117
Part1. Introduction to DataCleaner 介绍DataCleaner |--What is data quality(DQ) 数据质量？ |--What is data profiling? 数据分析？ |--What is datastore? 数据存储？ Compos ...
分类：
其他好文 时间：
2018-03-07 01:01:15
阅读次数：
274
