首先说交叉验证。
交叉验证（Cross validation）是一种评估统计分析、机器学习算法对独立于训练数据的数据集的泛化能力（generalize）， 能够避免过拟合问题。
交叉验证一般要尽量满足：
1）训练集的比例要足够多，一般大于一半
2）训练集和测试集要均匀抽样
交叉验证主要分成以下几类：
1）Double cross-validation
Double cross...
分类：
其他好文 时间：
2015-08-27 23:03:09
阅读次数：
814
# Hyperparameter selection loop
score_hist = []
Cvals = [0.001, 0.003, 0.006, 0.01, 0.02, 0.03, 0.04, 0.05, 0.06, 0.1]
for C in Cvals:
model.C = C
score = cv_loop(Xt, y, model, N)
score_hi...
分类：
编程语言 时间：
2015-08-11 21:28:54
阅读次数：
188
下面这个方式是普适的，但缺点就是必须要有自己的用户名和密码字典。其原理就是用user.txt与pass.txt的两个文本去不停交叉验证。msf auxiliary(mysql_login) > use auxiliary/scanner/mysql/mysql_loginmsf auxiliary(...
分类：
数据库 时间：
2015-08-11 17:41:05
阅读次数：
426
前言：
本系列是在作者学习《机器学习系统设计》（[美] WilliRichert）过程中的思考与实践，全书通过Python从数据处理，到特征工程，再到模型选择，把机器学习解决问题的过程一一呈现。书中设计的源代码和数据集已上传到我的资源：http://download.csdn.net/detail/solomon1558/8971649
第2章通过在真实的Seeds数据集...
分类：
编程语言 时间：
2015-08-10 22:25:16
阅读次数：
179
本文主要是对我们使用交叉验证可能出现的一个问题进行讨论，并提出修正方案。
本文地址：http://blog.csdn.net/shanglianlm/article/details/47207173...
分类：
其他好文 时间：
2015-08-02 18:19:17
阅读次数：
221
详见：http://blog.sciencenet.cn/home.php?mod=space&uid=830496&do=blog&id=676326交叉验证(Cross-Validation):有时亦称循环估计， 是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析， ...
分类：
其他好文 时间：
2015-07-31 23:28:42
阅读次数：
252
在做模型训练的时候，尤其是在训练集上做交叉验证，通常想要将模型保存下来，然后放到独立的测试集上测试，下面介绍的是Python中训练模型的保存和再使用。scikit-learn已经有了模型持久化的操作，导入joblib即可from sklearn.externals import joblib模型保存>>> os.chdir("workspace/model_save")
>>> from sklea...
分类：
编程语言 时间：
2015-07-31 22:01:18
阅读次数：
336
本文K折验证拟采用的是
Python 中 sklearn 包中的 StratifiedKFold 方法。
方法思想详见：http://scikit-learn.org/stable/modules/cross_validation.html
StratifiedKFold is
a variation of k-fold which returns stratified folds:...
分类：
编程语言 时间：
2015-07-29 21:24:34
阅读次数：
817
版权声明：本文为原创文章，转载请注明来源。1.原理1.1 概念交叉验证(Cross-validation)主要用于模型训练或建模应用中，如分类预测、PCR、PLS回归建模等。在给定的样本空间中，拿出大部分样本作为训练集来训练模型，剩余的小部分样本使用刚建立的模型进行预测，并求这小部分样本的预测误差或者预测精度，同时记录它们的加和平均值。这个过程迭代K次，即K折交叉。其中，把每个样本的预测误差平方加和...
分类：
其他好文 时间：
2015-07-28 21:15:20
阅读次数：
1786
当我们使用正则化的线性回归方法预测房价时，发现得到的模型应用于新的数据上时有很大误差，这时，我们可以选择一些解决方案，例如：
上图中的这六种解决方案都有相应的条件，如图中蓝色字体所示。【一、回归模型选择】我们引入一类数据集，叫做cross validation set，即交叉验证数据集。将所有数据按6：2：2
分为training set , cross validation set , t...
分类：
其他好文 时间：
2015-07-27 23:05:00
阅读次数：
389
