Python 语言是数据分析领域最常用的编程语言，因此本文将向大家介绍一个Python数据分析实战项目，学完这个项目大家可以使用 Pandas 进行数据准备、清洗、整理、计算与可视化，以及掌握最主流的数据可视化框架Seaborn和Echarts，并利用Bokeh实现动态可视化图表与控制面板。如果对学 ...
分类：
编程语言 时间：
2020-08-15 23:56:58
阅读次数：
138
数据处理的工作时间占整个数据分析项目的70%以上，因此，数据的质量直接决定了分析模型的准确性。那么，数据预处理的方法是什么呢？例如数据清理、数据集成、数据规范、数据转换等，其中最常用的是数据清理和数据集成，下面中琛魔方将来详细介绍一下这2种方法。 数据预处理的方法 1、数据清洗 数据清洗是通过填补缺失值，平滑或删除离群点，纠正数据的不一致来达到清洗的目的。简单来说，就是把数据里面哪些缺胳
分类：
其他好文 时间：
2020-08-13 11:52:24
阅读次数：
51
数据预处理 在正式处理数据之前对收集的数据进行预先处理的操作。 原因：不管通过何种手段收集的数据 往往是不利于直接分析的 数据中存在的格式规整的差异。 目的：把不干净的数据 格式不规则的数据 通过预处理清洗变成格式统一规整的结构化数据 技术：MapReduce 预处理的编程思路问题 在使用mr编程的 ...
分类：
Web程序 时间：
2020-08-10 17:26:02
阅读次数：
80
前段时间做了一些powerbi的开发工作，整理一下开发的大致步骤： 1.明确主题 2.设计数据模型:星型模型下设计事实表，维度表，数据粒度 3.整理源数据，获取源数据：文本文件，EXCEL,CSV,DB 4.在查询编辑器清洗数据,加工数据，聚合数据，简单的操作可以使用自带的图形化功能，复杂的操作（比 ...
分类：
其他好文 时间：
2020-08-08 00:32:41
阅读次数：
66
数据准备基本流程 数据规范化的几种方法 利用SciKit库进行数据变换 数据准备流程 数据清洗 数据集成 是什么？就是将多个数据源合并存放在一个数据仓库中 数据集成的两种架构 ETL（Extract、Transform、Load）即，（抽取、转换(合并表)、加载） 常见ETL工具（开源）：kettl ...
分类：
其他好文 时间：
2020-08-01 12:44:01
阅读次数：
91
0、题记日志分析是ELK最常用、最核心业务场景之一。如果你正在使用ElasticStack并且正尝试将自定义Logstash日志映射到Elasticsearch，那么这篇文章适合你。Logstash写入ES之前的中间数据处理过程一般叫做：数据ETL或者数据清洗。本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。1、认知前提老生常谈，夯实基础认知。ELKStack是三个开源项目
分类：
其他好文 时间：
2020-07-31 01:06:57
阅读次数：
77
这一篇介绍的来介绍一下我在工作中接触到的用户行为分析系统。在这个系统中主要负责功能开发，计算逻辑开发，日志检测告警等，数据处理，数据准清洗备也有涉及。 用户行为分析在现在这个时期已经是一个比较常见，使用很广的一个词，在互联网公司，有大数据团队的基本上都会提供这样一套分析系统，以及近年来也出现了很多专 ...
分类：
其他好文 时间：
2020-07-26 19:48:26
阅读次数：
97
数据准备2 数据清洗 import platform from pandas import DataFrame print("当前所使用的python版本是：", platform.python_version()) data = {'Chinese': [66, 95, 93, 90, 80], ...
分类：
其他好文 时间：
2020-07-26 18:59:26
阅读次数：
59
数据分析基本流程 Python基本数据类型 Python各种括号的使用方式 数据分析基本流程 数据采集 数据挖掘 理解业务需求，对挖掘目标进行定义 理解数据：进行数据描述，数据质量验证 数据准备：收集数据（数据导入与导出）、数据清洗、数据集成 建模：选择和应用各种数据挖掘类型 数据可视化 报表工具 ...
分类：
编程语言 时间：
2020-07-26 15:04:48
阅读次数：
64
TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术，常用于挖掘文章中的关键词，而且算法简单高效，常被工业用于最开始的文本数据清洗。 TF-IDF有两层意思，一层是"词频"（Term Frequency，缩写为T ...
分类：
其他好文 时间：
2020-07-26 01:56:59
阅读次数：
77
