标签：传统 本质 vat 次数 blog strong 网络 法则 集合
参数是机器学习算法的关键。它们通常由过去的训练数据中总结得出。在经典的机器学习文献中，我们可以将模型看作假设，将参数视为对特定数据集的量身打造的假设。
模型是否具有固定或可变数量的参数决定了它是否可以被称为“参数”或“非参数”。
模型参数是根据数据自动估算的。但模型超参数是手动设置的，并且在过程中用于帮助估计模型参数。
我们虽然无法知道给定问题的模型超参数的最佳值，但是我们可以使用经验法则，在其他问题上使用复制值，或通过反复试验来搜索最佳值。
如果必须手动指定模型参数，那么它可能是一个模型超参数。
在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数。 相反，其他参数的值通过训练得出。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。
超参数：定义关于模型的更高层次的概念，如复杂性或学习能力。
不能直接从标准模型培训过程中的数据中学习，需要预先定义。
可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定
超参数的一些示例：
超参数优化或模型选择是为学习算法选择一组最优超参数时的问题，通常目的是优化算法在独立数据集上的性能的度量。 通常使用交叉验证来估计这种泛化性能。
超参数优化与实际的学习问题形成对比，这些问题通常也被转化为优化问题，但是优化了训练集上的损失函数。
实际上，学习算法学习可以很好地建模/重建输入的参数，而超参数优化则是确保模型不会像通过正则化一样通过调整来过滤其数据。
首先，需要说明一点的是，训练集（training set）、验证集（validation set）和测试集（test set）本质上并无区别，都是把一个数据集分成三个部分而已，都是（feature,label）造型。尤其是训练集与验证集，更无本质区别。
测试集可能会有一些区别，比如在一些权威计算机视觉比赛中，测试集的标签是private的，也就是参赛者看不到测试集的标签，可以把预测的标签交给大赛组委会，他们根据你提交的预测标签来评估参赛者模式识别系统的好坏，以防作弊。
【训练集】：每个样本都是（feature,label）造型，用来训练模式识别系统。
【验证集】：在训练集上训练好系统后，有些参数是不可学习的，需要人为设定的，比如支持向量机SVM中的超参数松弛参数C。但是人为设定可能不是最优的，怎样寻找最优的这个参数呢？这就需要验证集。在验证集上不断调试这个人为设定的超参数，直到在验证集上得到的结果满意为止，这一步通常采用验证集上的交叉验证来确定最优超参数。需要人为设定的超参数确定后，到此这个系统的所有参数都确定了，然后看一下这个系统在测试集上的效果怎么样。
【测试集】：用来最终评估模式识别系统的性能。
需要注意的是，当整个模式识别系统中没有需要人为设定的超参数，所有参数都是通过学习得到的，则不需要验证集，训练集和测试集就够了。
标签：传统 本质 vat 次数 blog strong 网络 法则 集合
原文地址：https://www.cnblogs.com/ytxwzqin/p/10306810.html
