本栏目（机器学习）下机器学习基石专题是个人对Coursera公开课机器学习基石（2014）的学习心得与笔记。所有内容均来自Coursera公开课Machine Learning Foundations中Hsuan-Tien Lin林轩田老师的讲解。（https://class.coursera.org/ntumlone-002/lecture）
第13讲-------Hazard of Ov...
分类：
其他好文 时间：
2015-02-16 06:48:45
阅读次数：
360
本文主要讲解将CNN应用于人脸识别的流程，程序基于python+numpy+theano+PIL开发，采用类似LeNet5的CNN模型，应用于olivettifaces人脸数据库，实现人脸识别的功能，模型的误差降到了5%以下。本程序只是个人学习过程的一个toy implement，模型可能存在overfitting，因为样本小，这一点也无从验证。
但是，本文意在理清程序开发CNN模型的具体步骤，特别是针对图像识别，从拿到图像数据库，到实现一个针对这个图像数据库的CNN模型，我觉得本文对这些流程的实现具有参考...
分类：
其他好文 时间：
2015-01-30 09:13:55
阅读次数：
452
接上一节课，这一节课的主题是如何利用 Regularization 避免 Overfitting。通过给假设集设定一些限制条件从而避免 Overfitting，但是如果限制条件设置的不恰当就会造成 Underfitting。最后讲述了选择 Regularization 的一些启发式方法。...
分类：
其他好文 时间：
2014-11-09 11:18:36
阅读次数：
129
本节课主要介绍了关于机器学习中的过拟化问题。作者指出，区别一个专业级玩家和业余爱好者的方法之一就是他们如何处理过拟化问题。通过该课程，我们可以知道样本数据的拟合并不是越高越好，因为噪声的存在将使得过拟化问题的出现。最后简介了处理过拟合的两种方法。...
分类：
其他好文 时间：
2014-11-07 23:29:28
阅读次数：
273
来自：http://blog.csdn.net/fengzhe0411/article/details/7165549最近几天在看模式识别方面的资料，多次遇到“overfitting”这个概念，最终觉得以下解释比较容易接受，就拿出来分享下。overfittingt是这样一种现象：一个假设在训练数据上...
分类：
其他好文 时间：
2014-10-20 17:06:56
阅读次数：
322
对于一个监督学习模型来说，过小的特征集合使得模型过于简单，过大的特征集合使得模型过于复杂。对于特征集过小的情况，称之为欠拟合（underfitting）；对于特征集过大的情况，称之为过拟合（overfitting）解决此类学习问题的方法：1)特征选择算法：一类自动化算法，在这类回归问题中选择用到的特...
分类：
其他好文 时间：
2014-10-19 18:20:05
阅读次数：
332
在线性回归中，因为对參数个数选择的问题是在问题求解之前已经确定好的，因此參数的个数不能非常好的确定，假设參数个数过少可能拟合度不好，产生欠拟合(underfitting)问题，或者參数过多，使得函数过于复杂产生过拟合问题(overfitting)。因此本节介绍的局部线性回归(LWR)能够降低这种风险...
分类：
其他好文 时间：
2014-09-07 15:56:35
阅读次数：
368
在对数据进行拟合，学习模型的过程中，会出现以下情况：1）high variance, overfitting.过拟合2）high bias, underfiiting.欠拟合过拟合出现的原因1）太多的特征。2）过少的训练数据。如何解决？1）减少特征数2）模型选择算法（model selection ...
分类：
其他好文 时间：
2014-08-26 19:13:56
阅读次数：
310
在线性回归中，由于对参数个数选择的问题是在问题求解之前已经确定好的，因此参数的个数不能很好的确定，如果参数个数过少可能拟合度不好，产生欠拟合(underfitting)问题，或者参数过多，使得函数过于复杂产生过拟合问题(overfitting)。因此本节介绍的局部线性回归(LWR)可以减少这样的风险。
欠拟合与过拟合
首先看下面的图
对于图中的一系列样本点，当我们采用y...
分类：
其他好文 时间：
2014-06-02 23:50:41
阅读次数：
430
