特征工程预处理0.异常检测为什么不全部使用普通有监督的方法来学习呢（即把它看做是一个普通的二分类问题）？主要是因为在异常检测中，异常的样本数量非常少而正常样本数量非常多，因此不足以学习到好的异常行为模型的参数，因为后面新来的异常样本可能完全是与训练样本中的模式不同。可采用对每列特征分别用高斯分布去拟... ...
分类：
其他好文 时间：
2019-10-09 17:32:40
阅读次数：
82
入门认知 集成学习：集成多个学习器来完成学习任务。主要分为两类：Bagging和Boosting。 Bagging：自举汇聚法，从样本种随机取出n个样本作为训练样本，用完放回，这样进行k次得到K个训练集（这K个训练集中的样本可能有相同的，也可能相互之间完全不一样），这样使用K个训练器（可以一样，也可 ...
分类：
其他好文 时间：
2019-10-06 14:57:11
阅读次数：
116
算法步骤： 1. 给定训练样本，x_data和y_data 2. 定义两个占位符分别接收输入x和输出y 3. 中间层操作实际为：权值w与输入x矩阵相乘，加上偏差b后，得到中间层输出 4. 使用tanh函数激活后传给输出层 5. 输出层操作实际为：权值w与中间层结果矩阵相乘，加上偏差b后，得到输出层输 ...
分类：
其他好文 时间：
2019-10-04 19:01:22
阅读次数：
86
再谈最小平方问题 有了矩阵求导工具后，我们可以寻找最小化损失函数的参数值的闭式解（closed form solution）。首先我们先把这个损失函数表达成向量的形式。 把每个训练样本放在矩阵一行，可以得到一个$m \times n$ 设计矩阵$X$ （design matrix） ，即 $$ X= ...
分类：
其他好文 时间：
2019-09-23 15:24:17
阅读次数：
126
KNN项目实战——手写数字识别 1、 介绍 k近邻法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属 ...
分类：
编程语言 时间：
2019-09-14 13:37:51
阅读次数：
124
通过本文你将了解如何训练一个人名、地址、组织、公司、产品、时间，共6个实体的命名实体识别模型。 准备训练样本 下面的链接中提供了已经用brat标注好的数据文件以及brat的配置文件，因为标注内容较多放到brat里加载会比较慢，所以拆分成了10份，每份包括3000多条样本数据，将这10份文件和相应的配 ...
分类：
其他好文 时间：
2019-09-09 19:34:25
阅读次数：
450
什么是聚类任务 “无监督学习”中研究最多，应用最广的学习任务，除此之外，还有密度估计（density estimation）和异常检测（anomaly detection）。在无监督学习中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习揭示数据的内在性质及规律，为进一步的数据分析提供基 ...
分类：
编程语言 时间：
2019-09-07 18:29:06
阅读次数：
173
数据清洗： 1、异常值 1）基于概率分布，构建一个概率分布模型，并计算对象符合该模型的概率，把具有低概率的对象视为异常点。 2）聚类，比如我们可以用KMeans聚类将训练样本分成若干个簇，如果某一个簇里的样本数很少，而且簇质心和其他所有的簇都很远，那么这个簇里面的样本极有可能是异常特征样本了。我们可 ...
分类：
其他好文 时间：
2019-09-01 15:04:45
阅读次数：
78
一.样本 理想情况下，样本分三部分。 训练样本70% 验证样本（有时也叫测试样本）30% 跨时间验证样本：但经常这块数据没有，那也就只用前面的数据来做也可以。 二.如何确保模型训练完成 1.训练样本的roc和ks达到比较好的水平（0.7,0.3及以上） 2.验证样本和训练样本的指标差距不大（如10% ...
分类：
其他好文 时间：
2019-08-24 21:19:02
阅读次数：
319
1、贝叶斯定理： 2、朴素贝叶斯分类器 朴素贝叶斯分类的正式定义如下： 1、设为一个待分类项，而每个a为x的一个特征属性。 2、有类别集合。 3、计算。 4、如果，则。 那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做： 1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。 ...
分类：
其他好文 时间：
2019-08-22 21:52:44
阅读次数：
122
