一.一般经验 1. 1:20以上是需要做均衡处理的 ,普通数据召回率低的话1:10就可以做均衡处理 2. 一般如果不是严重不平衡,或者不平衡既是业务的正常反应,则不需要做处理,非平衡样本的处理方式不是必须的 3. 多分类样本不均衡,只能过采样处理 (一般实验或比赛数据才会过采样处理, 一般不会过采样 ...
分类：
其他好文 时间：
2020-02-21 00:15:51
阅读次数：
149
一.画图查看缺失值分布情况 方法1 import missingno as msno # pip install missingno msno.matrix(train_data); 方法2 缺失值高亮 # matplotlib画缺失值 plt.imshow(train_data.isna(),as ...
分类：
其他好文 时间：
2020-02-20 22:18:31
阅读次数：
140
1. 比赛信息 比赛地址： "阿里云恶意程序检测新人赛" 比赛介绍：使用自然语言处理的方法对恶意程序的行为（API调用序列）进行分析，实现对恶意程序鉴别及分类。 2. 我的主要工作 1）数据预处理：格式转换csv txt pkl，根据fileid分组数据，排序后生成api序列，用于训练； 2）数据分 ...
分类：
其他好文 时间：
2020-02-20 13:37:04
阅读次数：
76
concordance/k?n'k??d(?)ns/一致```py'''读取数据,预处理3600=3200 400'''import pandas as pdimport numpy as npimport matplotlib.pyplot as plttrain_data=pd.read_csv... ...
分类：
其他好文 时间：
2020-02-19 17:01:01
阅读次数：
79
在这篇文章我们将介绍因式分解机模型（FM），为行文方便后文均以FM表示。FM模型结合了支持向量机与因子分解模型的优点，并且能够用了回归、二分类以及排序任务，速度快，是推荐算法中召回与排序的利器。 ...
分类：
编程语言 时间：
2020-02-18 16:19:18
阅读次数：
1126
1.Feature Scaling 对数据的自变量或特征范围进行标准化的一种方法。在数据处理中，它也称为数据规范化，通常在数据预处理步骤中执行。 为什么要进行Feature Scaling： 如果输入范围变化，在某些算法中，对象函数将不能正常工作。 梯度下降收敛得更快，与特征缩放完成。梯度下降法是逻 ...
分类：
其他好文 时间：
2020-02-18 14:49:08
阅读次数：
67
一、获取数据 1.导入数据： from sklearn import datasets from sklearn import datasets iris=datasets.load_iris() #导入数据集 x=iris.data #获得特征向量 y=iris.target #获得样本lable ...
分类：
其他好文 时间：
2020-02-11 16:01:11
阅读次数：
60
介绍 基于表面的形态学分析（VSM）的方法被越来越多的研究者使用。本文主要介绍基于SPM12和CAT12工具包进行 ROI based VSM 的处理步骤。 方法 本文数据处理使用的工具是MATLAB，SPM12和CAT12。要进行VSM的分析，需要在数据预处理阶段的 Segment 的选项中将 W ...
分类：
其他好文 时间：
2020-02-08 13:51:11
阅读次数：
403
简介 @ "维基百科" 本文内容皆源自 "Andrew Ng" 目的 1.实现数据压缩 2.实现数据在2D或3D中可视化 算法 "PCA(主成分分析)" 步骤 1.数据预处理 采用归一化方法，是的均值为0，方差为1。 步骤，1.均值为0 2.方差为1 $x_j^{(i)}={x_j \mu}\fra ...
分类：
其他好文 时间：
2020-02-08 09:33:05
阅读次数：
74
传统的机器学习任务从开始到建模的一般流程是：获取数据 -> 数据预处理 -> 训练建模 -> 模型评估 -> 预测，分类。本文我们将依据传统机器学习的流程，看看在每一步流程中都有哪些常用的函数以及它们的用法是怎么样的。希望你看完这篇文章可以最为快速的开始你的学习任务。 1. 获取数据 1.1 导入s ...
分类：
其他好文 时间：
2020-02-06 19:45:45
阅读次数：
61
