机器学习的一般流程： 1、获取数据 2、数据预处理 3、数据集分拆 4、搭建模型 5、模型评估 6、模型保存 接下来，以Sklearn为例，一一介绍。 1、获取数据 1.1、导入数据集： 要想使用sklearn中数据集，必须导入datasets模块： from sklearn import data ...
分类：
其他好文 时间：
2019-08-29 15:28:22
阅读次数：
92
1 数据质量分析 数据质量分析是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础。其主要任务是检查原始数据中是否存在脏数据： （1）缺失值 （2）异常值（outliers） （3）不一致的值 （4）重复数据及含有特殊符号的数据 1.1 缺失值分析 1.2 异常值分析 异常值是指样本中数值明 ...
分类：
其他好文 时间：
2019-08-27 01:14:51
阅读次数：
112
数据分析师 简称DA 英文全称为 Data Analyst，是目前国际最热门紧缺的职业！ 什么是数据分析师？ 根据实际的需求，以数据为依据，然后通过对当前数据和未来数据进行科学地统计、分析、挖掘，并结合实际业务总结出具有建设性的报告，保证各种决策的有效性。 具体做什么？ 了解当前业务的情况 预测未来 ...
分类：
其他好文 时间：
2019-08-26 15:02:53
阅读次数：
83
''' 数据的清洗 1.检测与处理重复值 2.检测与处理缺失值 3.检测与处理异常值 ''' import numpy as np import pandas as pd # 去重:按照A列去重，同时保留第一个数据且在原表去重 data = pd.DataFrame({'A': [1, 1, 2, ... ...
分类：
其他好文 时间：
2019-08-02 09:21:55
阅读次数：
101
学习大数据分析与应用课程的首要任务，是先了解统计与建模方法和数据挖掘方法所呈现出来的效果，然后依次学习Excel数据处理及编程、MySQL数据库的简单操作及Hadoop的基础知识。从而为进阶、提高打好基础。基础统计与建模方法演示探索性数据分析演示常用概率分布和渐进性演示置信区间和假设检验演示线性回归模型演示广义线性回归模型演示数据挖掘方法演示分类预测基本流程演示数据预处理演示分类方法演示聚类分析演
分类：
其他好文 时间：
2019-07-20 17:15:41
阅读次数：
121
一、标签二值化 二、标签编码 参考文献： 【1】Python下的机器学习工具sklearn--数据预处理 ...
分类：
其他好文 时间：
2019-07-06 17:32:08
阅读次数：
94
机器学习主要由监督学习、无监督学习。 监督学习主要用于解决分类和回归问题。 无监督学习主要用于解决聚类问题。 在机器学习过程中主要有以下几个步骤： 数据预处理 特征工程 数据建模 结果评估 首先介绍数据预处理，主要包括数据清洗、数据采样以及数据集的拆分三个部分。 在数据清洗过程中主要对各种脏数据进行 ...
分类：
其他好文 时间：
2019-07-05 00:38:17
阅读次数：
170
一、描述性统计分析 二、数据预处理 三、特征工程 四、建模 （1）测试集与预测集划分（8/2分） 测试集交叉验证选择模型 五、评估模型 ...
分类：
其他好文 时间：
2019-07-03 22:50:39
阅读次数：
117
<!--?xml version="1.0" encoding="UTF-8"?--> Keras中有一个层是Flatten层，这个层可以把二维的图片转换成一维的数据，因此不需要单独做处理，而是在做完各种数据预处理后，用这个平层，把二维的数据处理成一维。 Keras模型中有对数据进行分类，首先不是一 ...
分类：
其他好文 时间：
2019-06-29 15:02:24
阅读次数：
91
