?ETL是什么？ ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL是BI项目中重要的一个环节，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据 ...
分类：
其他好文 时间：
2020-12-05 10:44:32
阅读次数：
4
数据分析里面可视化是重要的环节，辛苦把数据采集，然后经历了很多工序的清洗之后，最后要展现给用户，最好的方法就是数据可视化。数据可视化是一门艺术也是科学，可视化的神兵利器很多，今天介绍大名鼎鼎的Matplotlib,当然还有懒人专用的pandas画图，只要几行搞定，还有R语言的ggplot2最人性的库，以及酷炫的JS库D3.今天就先了解一下Python中最著名的绘图库Matplotlib，看看到底如
分类：
编程语言 时间：
2020-11-27 11:11:57
阅读次数：
8
如果说大数据里面hive是屠龙刀，那么pandas则是倚天剑，**帮助我们对数据数据挖掘、数据分析、数据清洗**
分类：
其他好文 时间：
2020-11-01 21:11:55
阅读次数：
20
目前互联网大数据处理大致分为：数据收集、数据清洗、数据建模、数据应用，算法工程师会在第三个环节对数据进行机器学习、图像处理、语音处理、推荐系统等操作
分类：
其他好文 时间：
2020-11-01 21:11:31
阅读次数：
25
华为云-公有云架构 华为公有云架构 华为公有云的主要服务如弹性云服务器（ECS）、弹性伸缩服务（AS）、云硬盘 （EVS）、云硬盘备份（VBS）、对象存储服务（OBS） 、虚拟私有云（VPC）、弹性负 载均衡（ELB）、Anti-DDOS流量清洗、云数据库（RDS）、IAM统一身份认证、云监控 服务 ...
分类：
其他好文 时间：
2020-10-31 01:32:41
阅读次数：
19
Pandas 数据清洗常见方法 01 读取数据 df=pd.read_csv('文件名称') 02 查看数据特征 df.info() 03 查看数据量 df.shape 04 查看各数字类型的统计量 df.describe() 05 去除重复值 df.drop_duplicates(inplace= ...
分类：
其他好文 时间：
2020-10-21 21:22:59
阅读次数：
31
部分内容直接摘抄阿里官网作为背景和概述：背景在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。整个业务链路中，要求数据库提供高性能的计算服务，存储海量数据，同时对接多种BI分析工具。单一的数据库很难实现以上所有功能，您必须借助其他数据库的相关能力完成业务流程。在导入导出数据时会产生冗余存储，
分类：
其他好文 时间：
2020-10-05 22:00:02
阅读次数：
31
1. ELK架构简介 1.1 核心组成 ELK是一套开源免费且功能强大的日志分析管理系统，由Elasticsearch、Logstash、Kibana三部分组成，简称ELK。 ELK可以将系统日志、网站日志、应用系统日志等各种日志进行收集、过滤、清洗，然后进行集中存放并可用于检索、分析。 这三款软件 ...
分类：
其他好文 时间：
2020-09-18 01:22:40
阅读次数：
31
1.训练集数据量大，测试集数据了小，容易在复赛过拟合 2.数据：个人信息 App的使用信息 个人消费记录 3.处理过程： 1）数据清洗 1.1 对缺失值的对维度处理 1.1.1 按列属性统计缺失值（可视化） 剔除缺失值比例高的属性（90%左右）； 缺失值比例在40%~60%（缺省型-1）； 确实在2 ...
分类：
其他好文 时间：
2020-09-17 22:31:23
阅读次数：
28
其实webscraper说到底就是那点儿东西，所有的网站都是大同小异，但是都还不同。这也是好多同学总是遇到问题的原因。因为没有统一的模板可用，需要理解了webscraper的原理并且对目标网站加以分析才可以。今天再介绍一篇关于webscraper抓取数据的文章，除了webscraper的使用方式外，还包括一些简单的数据处理和分析。都是基础的不能再基础了。选择这个网站一来是因为作为一个开发者在上面买
分类：
Web程序 时间：
2020-08-29 15:16:51
阅读次数：
63
