caffe的损失函数，目前已经囊括了所有可以用的了吧，损失函数由激活函数决定，同时有时会加入regularization,在BP过程中，使得误差传递得以良好运行。contrastive_loss，对应contrastive_loss_layer，我看了看代码，这个应该是输入是一对用来做验证的数据，比...
分类：
其他好文 时间：
2014-11-13 10:42:15
阅读次数：
435
接上一节课，这一节课的主题是如何利用 Regularization 避免 Overfitting。通过给假设集设定一些限制条件从而避免 Overfitting，但是如果限制条件设置的不恰当就会造成 Underfitting。最后讲述了选择 Regularization 的一些启发式方法。...
分类：
其他好文 时间：
2014-11-09 11:18:36
阅读次数：
129
http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf Loss Function
损失函数可以看做 误差部分(loss term) + 正则化部分(regularization term) ...
分类：
其他好文 时间：
2014-11-08 19:39:59
阅读次数：
331
正则化、归一化含义解析2012-12-29正则化（Regularization）、归一化（也有称为正规化/标准化，Normalization）是对数据尽心预处理的方式，他们的目的都是为了让数据更便于我们的计算或获得更加泛化的结果，但并不改变问题的本质，下面对他们的作用分别做一下科普，如有不正确之处，...
分类：
其他好文 时间：
2014-10-11 20:37:56
阅读次数：
207
本节主要是练习regularization项的使用原则。因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象。因此在模型的损失函数中，需要对模型的参数进行“惩罚”，这样的话这些参数就不会太大，而越小的参数说明模型越简单，越简单的模型则越不容易产...
分类：
其他好文 时间：
2014-09-12 16:54:53
阅读次数：
206
在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
网易公开课，第10,11课 notes，http://cs229.stanford.edu/notes/cs229-notes5.pdf Model Selection 首先需要解决的问题是，模型选择问题，如何来平衡bais和variance来自动选择模型？比如对于多项式分类，如何决定阶数k，对于l...
分类：
其他好文 时间：
2014-06-26 16:31:11
阅读次数：
181
Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之一，其训练常采用最大似然准则，且为防止过拟合，往往在目标函数中加入（可以产生稀疏性的） L1 正则。但对于这种带 L1 正则的最大熵模型，直接采用标准的随机梯度下降法（SGD）会出现效率不高和难以真正产生稀疏性等问题。本文为阅读论文 Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty...
分类：
其他好文 时间：
2014-06-19 12:01:04
阅读次数：
286
coursera上面Andrew NG的Machine
learning课程地址为：https://www.coursera.org/course/ml我曾经使用Logistic
Regression方法进行ctr的预测工作，因为当时主要使用的是成型的工具，对该算法本身并没有什么比较深入的认识，不过...
分类：
其他好文 时间：
2014-04-30 00:30:46
阅读次数：
698
