一、自动编码器
目前为止,我们介绍了神经网络在有标签的训练样本的有监督学习中的应用.现在假设我们只有一个未标记的训练集{x(1),x(2),x(3),…},其中x是n维的.自动编码器神经网络是一种采用反向传播的无监督学习算法,让目标值和输入相等,即让y(i)=x(i).
这是一个自动编码器:
自动编码器试图学习函数hW,b(x)≈x.换句话说,它试图学习恒等函数的逼...
分类：
其他好文 时间：
2016-08-10 22:52:41
阅读次数：
336
九、Deep Learning的常用模型或者方法
9.1、AutoEncoder自动编码器
Deep Learning最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，我们就得到了输入I的几种不同表示（每一层代表一种表示），这些表...
分类：
其他好文 时间：
2016-06-21 07:39:10
阅读次数：
295
本文基于台大机器学习技法系列课程进行的笔记总结。
一、主要内容
topic 1 深度神经网络结构
从类神经网络结构中我们已经发现了神经网络中的每一层实际上都是对前一层进行的特征转换，也就是特征抽取。一般的隐藏层（hidden layer）较少的类神经网络结构我们称之为shallow，而当隐藏层数比较多的类神经网络结构我们称之为deep。如下图所示：
从两者的对比中可以明显...
分类：
其他好文 时间：
2015-07-16 17:04:07
阅读次数：
267
栈式自动编码器(Stacked AutoEncoder)起源：自动编码器单自动编码器，充其量也就是个强化补丁版PCA，只用一次好不过瘾。于是Bengio等人在2007年的 Greedy Layer-Wise Training of Deep Networks中，仿照stacked RBM构成的DBN...
分类：
Web程序 时间：
2015-06-19 20:15:59
阅读次数：
360
降噪自动编码器（Denoising Autoencoder)起源：PCA、特征提取....随着一些奇怪的高维数据出现，比如图像、语音，传统的统计学-机器学习方法遇到了前所未有的挑战。数据维度过高，数据单调,噪声分布广，传统方法的“数值游戏”很难奏效。数据挖掘？已然挖不出有用的东西。为了解决高维度的问...
分类：
Web程序 时间：
2015-06-19 20:08:51
阅读次数：
11767
自动编码线性解码器
自动编码线性解码器主要是考虑到稀疏自动编码器最后一层输出如果用sigmoid函数，由于稀疏自动编码器学习是的输出等于输入，simoid函数的值域在[0,1]之间，这就要求输入也必须在[0,1]之间，这是对输入特征的隐藏限制，为了解除这一限制，我们可以使最后一层用线性函数及a
= z
习题答案：
SparseAutoEncoderLinerCost.m
functio...
分类：
其他好文 时间：
2015-06-11 23:01:59
阅读次数：
158
从统计学角度来看深度学习（2）：自动编码器和自由能原文链接：http://blog.shakirm.com/2015/03/a-statistical-view-of-deep-learning-ii-auto-encoders-and-free-energy/作者：Shakir Mohamed 翻...
分类：
其他好文 时间：
2015-05-27 11:58:03
阅读次数：
298
起源：自动编码器单自动编码器，充其量也就是个强化补丁版PCA，只用一次好不过瘾。于是Bengio等人在2007年的 Greedy Layer-Wise Training of Deep Networks中，仿照stacked RBM构成的DBN，提出Stacked AutoEncoder，为非监督学...
分类：
Web程序 时间：
2015-03-30 18:13:46
阅读次数：
217
九、Deep Learning的常用模型或者方法9.1、AutoEncoder自动编码器 Deep Learning最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。...
分类：
其他好文 时间：
2014-11-06 10:46:13
阅读次数：
394
对于训练出的一个稀疏自动编码器，现在想看看学习出的函数到底是什么样子。对于训练一个的图像，.计算每一个隐层节点 的输出值：我们要可视化的函数，就是这个以一副2D图像为输入，以为参数（忽略偏置项），由隐层节点计算出来的函数。特别是，我们把看作是输入的非线性特征。我们很想知道：什么样的的图像能使得成为最...
分类：
其他好文 时间：
2014-10-14 18:40:29
阅读次数：
241
