数据质量评估 在做了近一个多月的数据质量评估方案工作，基本实现了从产出原始数据、数据清洗、入库有效数据等阶段,从对质量没有任何概念到实现基本的指标展示，也算是从设计到代码到展示的流程跑通，在一定程度已经能体现公司目前的数据质量 1.为什么做数据质量？ 公司数据是从Excel挖掘出来的，不确定性与未知 ...
分类：
其他好文 时间：
2019-12-07 01:04:35
阅读次数：
506
最近项目中需要对实际地震数据进行道头, 卷头的操作以及数据清洗, 因此需要SU进行处理. 下载安装VMare, 并配置Ubantu18.04 从官网上下载VMare Workstation 15.5: https://my.vmware.com/cn/web/vmware/info/slug/des ...
人工智能：多领域交叉科学技术 机器智能：计算机智能决策算法 深度学习：高效的机器学习算法 (是机器学习的子集） X（Input） --> model（f(x)） --> Y (决策变量） 机器学习的五个模块： 1. 数据（进行采集、清洗、整理、划分、预处理、增强等） 2..模型（根据任务的不同选择不 ...
分类：
其他好文 时间：
2019-12-05 22:17:50
阅读次数：
104
使用requests模块获取网页内容，bs4数据清洗 ，pands保存数据一般都为csv格式。 import requests from bs4 import BeautifulSoup import pandas as pd def Get_data(url): # 请求得到网页内容 res = ...
分类：
编程语言 时间：
2019-12-02 19:06:27
阅读次数：
120
ETL讲解ETL讲解（很详细！！！） ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好 ...
分类：
其他好文 时间：
2019-11-29 11:09:14
阅读次数：
73
常见用途： 1、连接数据 2、转换和清洗该数据，以创建数据模型 3、创建视觉对象，如提供数据的可视化表示形式的图表或图形 4、在一个或者多个报表页上创建作为视觉对象集合的报表 5、使用Power BI服务于其他人共享报表 三种视图： 1、报表视图：可以在其中创建报表和视觉对象， 2、数据视图：在此处 ...
分类：
其他好文 时间：
2019-11-27 01:00:19
阅读次数：
72
互联网时代，腾讯、阿里巴巴、百度、搜狐、新浪、亚马逊、Facebook等企业快速的穿过互联网通道，搭建出人类历史上的绝美空中花园。繁华的互联网图景逐渐温馨起来，马云的黄历清洗了黄昏时刻，让黎明来的更加急切。人们都在探讨未来的人类科技图景将由谁主宰？2018年太平洋的海水并没有什么不同，熙熙攘攘的国贸大街依然人来人往。可是轰轰烈烈的区块链上半场却悄无声息的开场了。这个号称区块链怨念的2018年，让穿
分类：
其他好文 时间：
2019-11-25 20:54:28
阅读次数：
99
在数据的处理过程中,一般都需要进行数据清洗工作,如数据集是否存在重复,是否存在缺失,数据是否具有完整性和一致性,数据中是否存在异常值等.发现诸如此类的问题都需要针对性地处理,下面我们一起学习常用的数据清洗方法. 1.重复观测处理 重复观测:指观测行存在重复的现象,重复观测的存在会影响数据分析和挖掘结 ...
分类：
编程语言 时间：
2019-11-22 14:04:41
阅读次数：
68
在日常分析工作中，80%左右的时间用于清洗数据，所以掌握数据清洗相当重要 ...
分类：
编程语言 时间：
2019-11-21 09:17:17
阅读次数：
66
文本分析概念 停用词 语料中大量出现, 无用数据, 如下类似的这种词语 Tf - 词频统计 TF 的计算方式有很多, 最常见的用 某词文章中出现次数 / 文章总词数 idf - 逆文档频率 TF - idf 关键词提取 相似度 分词 语料库 词频 词频向量 整体流程 语料清洗 (去掉停用词, 去掉大 ...
分类：
其他好文 时间：
2019-11-18 16:56:51
阅读次数：
240
