码迷，mamicode.com
首页 > 其他好文 > 详细

标准自编码器（TensorFlow实现）

时间：2021-02-17 14:17:10      阅读：0      评论：0      收藏：0      [点我收藏+]

标签：span   default   --   target   module   const   input   调整   float   

由 Hinton 提出的标准自动编码机（标准自编码器）只有一个隐藏层，隐藏层中神经元的数量少于输入（和输出）层中神经元的数量，这会压缩网络中的信息，因此可以将隐藏层看作是一个压缩层，限定保留的信息。

自动编码机的学习包括在隐藏层上对输入信号进行压缩表示，然后在输出层尽可能地复现原始输入：
 
技术图片
图 1 单隐藏层的自动编码机
 
本节利用自动编码机进行图像重构，将利用 MNIST 数据训练自动编码机，并使用它来重构测试图像。
具体做法
  1. 导入所有必要的模块：
技术图片
 
  1. 从 TensorFlow 中获取 MNIST 数据，这里要注意的一点是，标签并没有进行独热编码，因为并没有使用标签来训练网络。自动编码机是通过无监督学习进行训练的：
技术图片
 
  1. 声明 AutoEncoder 类，使用 init 方法初始化自动编码机的权重、偏置和占位符，也可以在 init 方法中构建全部的计算图。还需要定义编码器、解码器，set_session（会话建立）和 fit 方法。此处构建的自动编码机使用简单的均方误差作为损失函数，使用 AdamOptimizer 进行优化：
技术图片
为便于使用，此处还定义了两个辅助函数，reduced_dimension 给出编码器网络的输出，reconstruct 给出重构的测试图像的输出。
  1. 训练时将输入数据转换为 float 型，初始化所有变量并运行会话。在计算时，目前只是测试自动编码机的重构能力：
技术图片
 
  1. 绘制误差在训练周期中的变化图，验证网络的均方误差在训练时是否得到优化，对于一个好的训练，误差应该随着训练周期的增加而减少：
技术图片
图示如下：
技术图片
可以看到，随着网络的学习，损失/成本是下降的，当训练周期达到 5000 时，几乎是在一条线上振荡，这意味着进一步增加训练周期将不再有用。如果现在还想要改进模型，应该调整学习率、批量大小和优化器等超参数。
  1. 观察重构的图像，对比原始图像和自动编码机生成的重构图像：
技术图片
得到以下结果：
技术图片
 
解读分析
有意思的是，在前面的代码中，维数从输入的 784 降到了 256，但是网络仍然可以重构原始图像。将自动编码机性能与 RBM 进行对比，其中隐藏层维数相等：
 
技术图片
 
 可以看到，由自动编码机重构的图像比 RBM 重构的图像要清晰得多。原因在于自动编码机中有更多的权重（从隐藏层到解码器输出层的权重）被训练。自动编码机学到的细节更多，即使两者都将信息压缩到相同的尺寸，其性能也优于 RBM。
知识扩展
像 PCA 一样，自动编码机也可以用于降维，但 PCA 只能进行线性变换，而自动编码机可以使用非线性激活函数，从而在其中引入非线性变换。
下图是 Hinton 的论文“Reducing the dimensionality of data with Neural Networks”复现的结果，图 A 显示 PCA 的结果，图 B 是由 RBM 堆叠的自动编码机（每层节点为 784-1000-500-250-2）的结果：
 
技术图片
 
正如稍后会看到的，使用堆叠自动编码机时，每个自动编码机最初会独立进行预训练，然后会对整个网络进行微调以获得更好的性能。
 
 
 
 

标准自编码器（TensorFlow实现）

标签：span   default   --   target   module   const   input   调整   float   

原文地址：https://www.cnblogs.com/wujianming-110117/p/14401474.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！