前言：近几年来数据中台概念大火，市面上掀起了一波建业务中台、数据中台热潮，那么数据中台到底是什么？它的出现能解决什么问题呢？首先数据中台的概念最早由阿里提出，自从阿里提出了“大中台，小前台”概念之后，数据中台这个概念火了起来，不少企业，无论是互联网企业还是传统企业纷纷搭建起了自家的数据中台，究竟数据中台有什么魅力，能让企业如此重视？本文主要从数据中台是什么、怎么做数据中台和为什么要做数据中台三个方
分类：
其他好文 时间：
2020-04-13 01:10:47
阅读次数：
85
数据清洗一是为了解决数据质量问题，二是让数据更加适合做挖掘。数据清洗， 是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。在这里，小编跟大家介绍一下数据清洗的步骤和方法。 一、检查数据的质量 数据的完整性， ...
分类：
其他好文 时间：
2020-03-27 21:45:55
阅读次数：
105
数据特征分析与数据质量分析一道构成数据探索的两方面工作，在前文中介绍过关于数据质量分析的概况，本文将对数据特征分析作简介，并着重于分布分析的角度，相比于数据质量分析，数据特征分析更注重于找寻数据间的关系。 数据特征分析包括以下几个分析角度： 1、分布分析 2、对比分析 3、统计量分析 4、帕累托分析 ...
分类：
其他好文 时间：
2020-03-07 20:59:50
阅读次数：
93
数据探索是对样本数据进行解释性的分析工作，它是数据挖掘和机器学习较为前期的部分，更偏重于研究数据的本质、描述数据的形态特征并解释数据的相关性。 换句话说，透过数据探索，我们应该可以回答如下问题： 样本数据的分布怎样？有什么特点？数据之间有何种关系？数据是否满足建模要求？ 问题驱动发展，对以上问题进行 ...
分类：
其他好文 时间：
2020-03-06 22:22:22
阅读次数：
95
*探索性数据分析：用于初步检验数据的质量，需计算各类数据特征指标。 本文框架： 探索数据分布（Exploratory Data Distribution，EDD） 缺失率（Missing Rate） 重复值（Duplicate Value） 单一值（Unique Value） 其他数据质量检查（Qu ...
分类：
其他好文 时间：
2020-02-28 18:33:00
阅读次数：
89
3.数据预处理： 在现实社会中的数据往往存在噪声数据、缺失值和不一致数据的问题。为了提高数据挖掘工作的效率和准确性，需要使用数据清理、数据集成、数据归约和数据变换等方法对数据进行预处理操作。 数据质量的三个要素是：准确性、完整性和一致性。 3.1 数据清理 数据清理试图填充缺失值、光滑噪声并识别离群 ...
分类：
其他好文 时间：
2020-02-26 01:19:33
阅读次数：
75
数据质量:1/ 数据质量控制环节2/ 元数据管理 数据质量包括:数据的完整性 数据自成体系、无数据缺失（包括实体记录缺失、字段信息缺失）数据一致性： 在整个数仓中，同一数据各主题、层次数据一致正确性： 在数仓各部分、确保数据不失真及时性： 整个数仓处理过程中，数据及时到位、及时反馈 数据质量的控制不 ...
分类：
其他好文 时间：
2020-01-31 14:04:01
阅读次数：
71
对数据质量进行简单的分析后，我们就可以开始来分析数据的特征分析了。数据的特征分析可以从以下几个方面开展：分布分析对比分析统计量分析周期性分析相关性分析通过以上5种方式，可以找到数据中存在的某种特征。分布分析分布分析很容易理解，就是理解数据的分布情况。例如：在0-100区间有多少数据、100-1000... ...
分类：
其他好文 时间：
2020-01-30 12:29:06
阅读次数：
74
拿到样本数据集之后，我们在进行数据挖掘之前，需要对样本数据集进行一个初步的了解。我们想要知道，这个样本数据集中，是否存在某些明显的规律或者是趋势，是否存在某些异常的数据值。我们可以通过验证数据集的数据质量、以图形的方式展示数据，或者计算某些重要的特征值来了解数据集。整个了解数据集的过程就是探索数据的... ...
分类：
其他好文 时间：
2020-01-29 19:33:43
阅读次数：
81
在人工智能迅猛发展的今天，我们正在享受着智能安防带来的安全感。智能安防除了可以实时监测正在发生的各种状况以外，还可以对内容进行分析预测，提取其中关键信息(如车牌、人脸、动作等)，起到“防患于未然”的作用。在当下AI行业普遍遭遇“落地难”的大背景下，智能安防可谓是人工智能落地应用的典型范例，为其他行业的AI场景化落地应用提供了实质性的参考。然而，与其他行业更注重模型与数据质量不同，智能安防领域更加注
分类：
其他好文 时间：
2020-01-17 09:56:41
阅读次数：
69
