码迷,mamicode.com
首页 > 其他好文 > 详细

UFLDL教程(一)--稀疏自编码器

时间:2015-08-21 15:45:36      阅读:203      评论:0      收藏:0      [点我收藏+]

标签:

神经网络模型

简单的神经网络

技术分享

前向传播

技术分享

代价函数

对于单个样例 ,其代价函数为:

技术分享

给定一个包含m个样例的数据集,我们可以定义整体代价函数为:

技术分享

以上公式中的第一项  是一个均方差项。第二项是一个规则化项(也叫权重衰减项),其目的是减小权重的幅度,防止过度拟合。

反向传播算法

反向传播算法,它是计算偏导数的一种有效方法。

技术分享

批量梯度下降法

技术分享

版权声明:本文为博主原创文章,未经博主允许不得转载。

UFLDL教程(一)--稀疏自编码器

标签:

原文地址:http://blog.csdn.net/lwnylslwnyls/article/details/47833541

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!