使用cross_val_score可以做，learning_curve，validition_curve也可以。 ...
分类：
其他好文 时间：
2018-04-16 18:35:27
阅读次数：
232
本文内容来自周志阳《机器学习》 问题： 对于一个只包含$m$个样例的数据集$D=\{(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)$，如何适当处理，从$D$中产生训练集$S$和测试集$T$? 下面介绍三种常见的做法： + 留出法 + 交叉验证法 + 自助法 留出法(hold ...
分类：
其他好文 时间：
2018-04-13 22:30:34
阅读次数：
1872
吴恩达 MachineLearning Week6 第六周知识点总结 1. 应将数据分割为训练集(training set)/交叉验证集(cross validation set)/测试集(test set)三个部分。 训练集用于训练数据，验证集用于确定模型选定的参数维度，是否过拟合等，测试集用来最 ...
分类：
系统相关 时间：
2018-04-06 18:34:50
阅读次数：
200
上一讲中主要描述了机器学习特征工程的基本流程，其内容在这里：机器学习（一）特征工程的基本流程 本次主要说明如下： 1）数据处理：此部分已经在上一节中详细讨论 2）特征工程：此部分已经在上一节中详细讨论 3）模型选择 4）交叉验证 5）寻找最佳超参数 首先看下总图： （一）模型选择： 1）交叉验证 交 ...
分类：
其他好文 时间：
2018-03-31 18:15:01
阅读次数：
297
在sklearn当中，可以在三个地方进行模型的评估 1：各个模型的均有提供的score方法来进行评估。 这种方法对于每一种学习器来说都是根据学习器本身的特点定制的，不可改变，这种方法比较简单。这种方法受模型的影响， 2：用交叉验证cross_val_score，或者参数调试GridSearchCV， ...
分类：
其他好文 时间：
2018-03-24 00:45:00
阅读次数：
8264
由于可用的特征提取和分类器构造方法较多，为了确定选取方法。现在从视频提取的图像上进行算法验证，取这些图像的一部分进行训练，剩余部分进行测试，并进行交叉验证。找到准确率最高的方法后再将其用于测试集。以reco_toolbox为例，下面给出方法选取的代码：clc,closeall,clear,drawnowdatabase_name={‘JDPig‘};database_ext={‘jpg‘,‘jpg
分类：
其他好文 时间：
2018-03-13 14:03:43
阅读次数：
510
交叉验证之前的知识：我们如何评估一个模型 当我们想要测试我们的模型效果怎么样的时候，最好的方法是在实际的样本当中进行测试，这样可以测试出模型的泛化误差，但是实际的样本是没有标签的，所以这是一个悖论，我们无法知道样本的泛化误差。 假如我们在我们训练模型的数据上面直接进行测试的话，结果会很好，会出现过拟 ...
分类：
其他好文 时间：
2018-03-13 14:01:11
阅读次数：
5946
2.1经验误差与过拟合 2.2评估方法 2.2.1留出法 2.2.2交叉验证法 2.2.3自助法 2.2.4调参与最终模型 2.3性能度量 2.3.1错误率与精度 2.3.2查准率、查全率与F1 2.3.3ROC与AUC 2.3.4代价敏感错误与代价曲线 2.4比较检验 2.4.1假设检验 2.4. ...
分类：
其他好文 时间：
2018-03-12 00:02:41
阅读次数：
193
交叉验证是在机器学习建立模型和验证模型参数时常用的办法。交叉验证，顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的某样本在下次可能成为测试集中的样本，即所谓 ...
分类：
其他好文 时间：
2018-02-15 12:12:59
阅读次数：
164
机器学习评估方法 留出法(hold out)：数据集预留出一部分数据为测试集，将数据集 D 划分为训练集 S 和测试集 T。大概比例为测试集占全局数据量的(1/5~1/3) 留一法：留一法是留出法的特例，即每次测试集 T 只留一个数据，剩下的作为训练集 S K折交叉验证(k fold cross v ...
分类：
其他好文 时间：
2018-02-11 14:45:18
阅读次数：
131
