在人工智能迅猛发展的今天，我们正在享受着智能安防带来的安全感。智能安防除了可以实时监测正在发生的各种状况以外，还可以对内容进行分析预测，提取其中关键信息(如车牌、人脸、动作等)，起到“防患于未然”的作用。在当下AI行业普遍遭遇“落地难”的大背景下，智能安防可谓是人工智能落地应用的典型范例，为其他行业的AI场景化落地应用提供了实质性的参考。然而，与其他行业更注重模型与数据质量不同，智能安防领域更加注
分类：
其他好文 时间：
2020-01-17 09:23:22
阅读次数：
92
[TOC] 一、数据分析介绍 数据分析是什么? 数据分析能干什么? 为什么利用Python进行数据分析? 数据分析过程概述 常用库简介 1、数据分析是什么 在我们如今这个时代，相信大多数人都能明白数据的重要性，数据就是信息，而数据分析就是可以让我们发挥这些信息功能的重要手段。 2、数据分析能干什么 ...
分类：
其他好文 时间：
2020-01-15 15:33:51
阅读次数：
90
根据2018年12月中国信通院发布的《数据资产管理实践白皮书3.0》：近年来，中国大数据和商业数据分析市场规模增速是世界平均增速的2倍，特别是银行业、离散制造业、流程制造业和政府等行业需求尤其旺盛。 然而，如此可观的增速背后却藏匿着较大隐患： 数据质量不过关：大部分企业数据质量较差，不良的数据质量会 ...
分类：
其他好文 时间：
2020-01-10 15:18:57
阅读次数：
108
本文围绕什么是数据中台，中台怎么建设，中台产品怎么选择，案例分析介绍企业级数据中台的建设。 什么是数据中台 数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。 数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。这些服务跟企 ...
分类：
其他好文 时间：
2019-12-08 17:32:54
阅读次数：
144
1 数据采集的重要性 数据采集是数据挖掘的基础，没有数据，挖掘也没有意义。很多时候，我们拥有多少数据源，多少数据量，以及数据质量如何，将决定我们挖掘产出的成果会怎样 2 四类采集方式 3 如何使用开放是数据源 4 爬虫方式 (1) 使用request爬取内容。(2)使用xpath解析内容，可以通过元 ...
分类：
编程语言 时间：
2019-12-07 14:34:24
阅读次数：
69
数据质量评估 在做了近一个多月的数据质量评估方案工作，基本实现了从产出原始数据、数据清洗、入库有效数据等阶段,从对质量没有任何概念到实现基本的指标展示，也算是从设计到代码到展示的流程跑通，在一定程度已经能体现公司目前的数据质量 1.为什么做数据质量？ 公司数据是从Excel挖掘出来的，不确定性与未知 ...
分类：
其他好文 时间：
2019-12-07 01:04:35
阅读次数：
506
先抛出几个问题 1. 存储是不是基石？ 2. 假如存储不挂，数据真的准确吗？ 3. 存储挂了，数据还准确吗？ 4. 如何校验是否正确？如何让其正确？机制是不是必须有？ 注：sqoop抽数据，无error丢数据的概率很小 数据质量校验：数据量校验 count相同吗？count相同内容相同吗？ 数据量相 ...
分类：
其他好文 时间：
2019-11-30 09:43:00
阅读次数：
82
[TOC] 当我们得到数据后，接下来就是要考虑样本数据集的数据和质量是否满足建模的要求？是否出现不想要的数据？能不能直接看出一些规律或趋势？每个因素之间的关系是什么？ 通过检验数据集的数据质量，绘制图表，计算某些特征值等手段，对样本数据集的结构和规律进行分析的过程就是数据探索。数据质量检测对后面的数 ...
分类：
编程语言 时间：
2019-11-19 15:29:36
阅读次数：
125
BEGAN: 创新： 1.不是考虑生成图片与真实图片之间的真实的分布，而是估计分布的误差的分布之间的差距。 2.G,D的能力平衡提出了一种均衡的概念 3。提供了一种超参数，这超参数可以在图片的多样性和生成质量之间做均衡 判别模型是自编码器，生成模型则借鉴了wgan的损失函数 一张图片相当于一个数据x ...
分类：
其他好文 时间：
2019-11-17 16:16:16
阅读次数：
56
数据丢失(缺失)在现实生活中总是一个问题。 机器学习和数据挖掘等领域由于数据缺失导致的数据质量差，在模型预测的准确性上面临着严重的问题。 在这些领域，缺失值处理是使模型更加准确和有效的重点。 使用重构索引(reindexing)，创建了一个缺少值的DataFrame。 在输出中，NaN表示不是数字的 ...
分类：
其他好文 时间：
2019-11-04 09:48:10
阅读次数：
69
