对交叉验证这个问题，一直以来，不明白是怎么回事。近期看材料，涉及到了这个问题，写的通俗易懂，有种恍然大悟的感觉。下面，我写下对这个问题的理解。 现在假设这里有一堆数据，作为统计er的任务就是从这些数据中提取有用的信息。如何提取信息呢，我们的法宝就是–模型。模型在统计当中是极其重要的，学统计就是跟各种 ...
分类：
其他好文 时间：
2016-07-22 21:09:33
阅读次数：
256
交叉验证：拟合的好，同时预测也要准确 我们以K折交叉验证（k-folded cross validation)来说明它的具体步骤。{A1,A2,A3,A4,A5,A6,A7,A8,A9} 为了简化，取k=10。在原始数据A的基础上，我们随机抽取一组观测，构成一个数据子集（容量固定）,记为A1A1 重 ...
分类：
其他好文 时间：
2016-06-26 16:48:32
阅读次数：
204
本文将介绍R中的并行计算，并给出了一些常见的陷进以及避免它们的小技巧。
使用并行计算的原因就是因为程序运行时间太长。大部分程序都是可以并行化的，它们大部分都是Embarrassingly parallel。这里介绍几种可以并行化的方法：
Bootstrapping
交叉验证(Cross-validation)
(Multivariate Imputation by Chained Equation...
分类：
编程语言 时间：
2016-06-21 07:38:31
阅读次数：
208
七月在线4月机器学习算法班课程笔记——No.7
前言 我们知道，机器学习的过程是非常繁琐的。上一篇介绍了机器学习中特征处理重要而耗时，然而特征处理仅属于机器学习前序的工作内容。特征工程之后，需要选择机器学习模型、交叉验证、寻找最佳超参数等建模步骤。搭建模型之后呢，还需要进行模型的优化，模型调优是实际生产中一个必要的环节，也是不断去改进的一个事情。
这一篇会以小的数据集为例，讲一下机器学习在实...
分类：
其他好文 时间：
2016-06-16 14:49:03
阅读次数：
173
这个函数需要引用sklearn包 这个函数的调用格式是： 这个函数的作用为：对于不同大小的训练集，确定交叉验证训练和测试的分数。一个交叉验证发生器将整个数据集分割k次，分割成训练集和测试集。不同大小的训练集的子集将会被用来训练评估器并且对于每一个大小的训练子集都会产生一个分数，然后测试集的分数也会计 ...
分类：
编程语言 时间：
2016-05-25 09:33:17
阅读次数：
1623
交叉验证(Cross Validation)为CV.CV是用来验证分类器的性能一种统计分析方法,基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set),首先用训练集对分类器进行训练,在利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。于是可以先在一个子集上做分析， 而其它子...
分类：
其他好文 时间：
2016-05-06 12:49:29
阅读次数：
4398
笔者寄语：本文大多内容来自未出版的《数据挖掘之道》的情感分析章节。本书中总结情感分析算法主要分为两种：词典型+监督算法型。
监督算法型主要分别以下几个步骤：
构建训练+测试集+特征提取（TFIDF算法）+K层交叉验证。
一、TFIDF算法指标的简介
监督式算法需要把非结构化的文本信息转化为结构化的一些指标，这个算法提供了以下的一些指标，在这简单叙述：
TF = 某词在文章中出现的...
分类：
编程语言 时间：
2016-05-03 18:22:39
阅读次数：
1410
今天这个比赛结束了，结果可以看：https://www.kaggle.com/c/santander-customer-satisfaction/leaderboard
public结果：
private结果：
首先对比private和public的结果，可以发现：
1）几乎所有的人都overfitting了；或者说private的另一半测试...
分类：
其他好文 时间：
2016-05-03 12:45:19
阅读次数：
1456
10.1 决定下一步做什么 10.2 评估一个假设 10.3 模型选择和交叉验证集 10.4 诊断偏差和方差 10.5 归一化和偏差/方差 10.6 学习曲线 10.7 决定下一步做什么 10.1 决定下一步做什么 到目前为止，我们已经介绍了许多不同的学习算法，如果你一直跟着这些视频的进度学习，你会 ...
分类：
移动开发 时间：
2016-04-27 18:30:44
阅读次数：
258
在机器学习分类结果的评估中，ROC曲线下的面积AOC是一个非常重要的指标。下面是调用weka类，输出AOC的源码： 接着说一下交叉验证； 如果没有分开训练集和测试集，可以使用Cross Validation方法，Evaluation中crossValidateModel方法的四个参数分别为，第一个是 ...
分类：
其他好文 时间：
2016-04-13 11:19:01
阅读次数：
192
