机器学习笔记—正则化和模型选择

标签：

如果针对某个学习问题，从众多模型中选择一个模型，能够在偏差和方差中做一个平衡，怎么样才能自动选择呢？例如，使用多项式回归模型 h(x)=g(θ₀+θ₁x+θ₂x²+...+θ_kx^k)，想自动决定 k 的值，在 0~10 之间选择。再比如，要自动选择局部权重回归中的带宽参数 τ，或者 L1 正则化 SVM 的参数 C，怎么做呢？

设有有限个模型 M={M₁,...,M_d} 供选择，例如在上面的例子中，M 可以是一个 i 项式回归模型。如果想要在 SVM、神经网络和 Logistic 回归之间选择，M 可以包含这些模型。

参考资料：

1、http://cs229.stanford.edu/notes/cs229-notes5.pdf

机器学习笔记—正则化和模型选择

标签：

原文地址：http://www.cnblogs.com/NaughtyBaby/p/5366710.html