过拟合和欠拟合 过拟合：在训练集上的准确率较高，而在测试集上的准确率较低 欠拟合：在训练集和测试集上的准确率均较低 1）概念概述 学习曲线就是通过画出不同训练集大小时训练集和交叉验证的准确率，可以看到模型在新数据上的表现，进而来判断模型是否方差偏高或偏差过高，以及增大训练集是否可以减小过拟合。 先明 ...
分类：
其他好文 时间：
2018-12-10 14:22:23
阅读次数：
320
在上一篇关于Python中的线性回归的文章之后，我想再写一篇关于训练测试分割和交叉验证的文章。在数据科学和数据分析领域中，这两个概念经常被用作防止或最小化过度拟合的工具。我会解释当使用统计模型时，通常将模型拟合在训练集上，以便对未被训练的数据进行预测。 在统计学和机器学习领域中，我们通常把数据分成两 ...
分类：
编程语言 时间：
2018-11-23 14:20:39
阅读次数：
251
机器学习的建议 开始设计一个机器学习系统 + 在刚刚开始入手一个机器学习项目的时候, 应该着手于如何将快速实现机器学习算法, 并立刻使用交叉验证的数据集合进行验证, 计算出损失值$J_{cv}$, 而不是在一开始设计的时候就考虑很多的因素, 比如是否需要更多的特征, 或者需要更多的样本, 实际上, ...
分类：
其他好文 时间：
2018-11-19 11:00:01
阅读次数：
203
sklearn中的交叉验证（Cross-Validation） sklearn是利用python进行机器学习中一个非常全面和好用的第三方库，用过的都说好。今天主要记录一下sklearn中关于交叉验证的各种用法，主要是对sklearn官方文档 Cross-validation: evaluating ...
分类：
其他好文 时间：
2018-11-03 19:11:21
阅读次数：
212
学习曲线 “训练误差”和“交叉验证误差”如下 \[\begin{array}{l}{J_{train}}\left( \theta \right) = \frac{1}{{2{m_{train}}}}\sum\limits_{i = 1}^{{m_{train}}} {{{\left( {{h_\t ...
分类：
其他好文 时间：
2018-11-01 11:29:32
阅读次数：
192
关于偏差、方差以及学习曲线为代表的诊断法： 在评估假设函数时，我们习惯将整个样本按照6:2:2的比例分割：60%训练集training set、20%交叉验证集cross validation set、20%测试集test set，分别用于拟合假设函数、模型选择和预测。 模型选择的方法为： 1. 使 ...
分类：
其他好文 时间：
2018-10-28 14:57:17
阅读次数：
171
1.原始交叉验证 2.cross_validation交叉验证 交叉验证中混合模型分类 ...
分类：
其他好文 时间：
2018-10-25 12:12:56
阅读次数：
157
首先解释一下什么叫使用自定义验证集进行模型调参。GridSearchCV默认使用的模型验证方法是KFold交叉验证，但很多时候我们自己已经预先分配好了验证集，我们就要在这个验证集上评价模型好坏（有些任性），所以我们并不需要GridSearchCV为我们自动产生验证集，这就是所谓的使用自定义验证集进行 ...
分类：
其他好文 时间：
2018-10-21 00:59:47
阅读次数：
216
本文主要讲述基于协同训练的半监督算法做文本分类，用三个差异性比较大的分类器对未标注数据进行标注，它们可以进行交叉验证，大大提升了对未标注数据标记的置信度(简单理解就是三个分类器同时对一个未标注数据标记一样的标签，那么这个标签就可信了)，从而提高分类器标注的准确率 ...
分类：
编程语言 时间：
2018-10-20 13:37:08
阅读次数：
213
scikit-learn是构建在Numpy,Matplotlib等工具之上的一套完整的机器学习工具库。TensorFlow的接口封装仿照其进行了设计 样本划分问题 使用交叉验证集划分样本，代码： from sklearn.cross_validation import train_test_spli ...
分类：
其他好文 时间：
2018-10-13 13:50:44
阅读次数：
143
