机器学习中超参数搜索的常用方法为 Grid Search，然而如果参数一多则容易碰到维数诅咒的问题，即参数之间的组合呈指数增长。如果有 $m$ 个参数，每个有 $n$ 个取值，则时间复杂度为 $\Theta(n^m)$。 Bengio 等人在 " 《Random Search for Hyper P ...
分类：
其他好文 时间：
2019-01-21 21:07:10
阅读次数：
1307
介绍在这篇文章中，我们讨论主成分分析（PCA）是如何工作的，以及它如何被用来作为分类问题的降维技术。在这篇文章的末尾，出于证明的目的提供了Matlab源代码。在前面的文章中，我们讨论了所谓的维数诅咒，表明在高维空间分类器倾向于过度拟合训练数据。接下来产生的问题是哪些特征应该保留，哪些应该从高维特征向量中删除。如果此特征向量的所有特征是统计独立的，可以简单地从这个向量中消除最小的判别特征。通过各种贪婪...
分类：
其他好文 时间：
2015-05-22 17:07:33
阅读次数：
2951
介绍在这篇文章中，我们将讨论所谓的“维数的诅咒”，并解释为什么在设计分类器时它是很重要的。以下各节我会提供这个概念直观的解释，并用一个由于维数灾难导致的过拟合例子图解说明。考虑这样一个例子，我们有一组图像，其中每个表示猫或狗。我们想创建一个分类器，它能够自动识别狗和猫。要做到这一点，我们首先需要考虑每个对象类的描述，该描述可以用数字来表示。这样的数学算法，即分类器，可以用这些数字来识别对象。例如，我...
分类：
其他好文 时间：
2015-05-21 22:45:53
阅读次数：
3540
