稀疏自编码器一览表

时间：2017-08-21 13:26:58 阅读：180 评论：0 收藏：0 [点我收藏+]

标签：otto hat coder aac 输出 tracking src enc learning

以下是我们在推导sparse autoencoder时使用的符号一览表：

符号	含义
$技术分享$	训练样本的输入特征， $技术分享$ .
$技术分享$	输出值/目标值. 这里 $技术分享$ 能够是向量. 在autoencoder中。 $技术分享$ .
$技术分享$	第 $技术分享$ 个训练样本
$技术分享$	输入为 $技术分享$ 时的如果输出，当中包括參数 $技术分享$ . 该输出应当与目标值 $技术分享$ 具有同样的维数.
$技术分享$	连接第 $技术分享$ 层 $技术分享$ 单元和第 $技术分享$ 层 $技术分享$ 单元的參数.
$技术分享$	第 $技术分享$ 层 $技术分享$ 单元的偏置项. 也能够看作是连接第 $技术分享$ 层偏置单元和第 $技术分享$ 层 $技术分享$ 单元的參数.
$技术分享$	參数向量. 能够觉得该向量是通过将參数 $技术分享$ 组合展开为一个长的列向量而得到.
$技术分享$	网络中第 $技术分享$ 层 $技术分享$ 单元的激活（输出）值. 另外，因为 $技术分享$ 层是输入层，所以 $技术分享$ .
$技术分享$	激活函数. 本文中我们使用 $技术分享$ .
$技术分享$	第 $技术分享$ 层 $技术分享$ 单元全部输入的加权和. 因此有 $技术分享$ .
$技术分享$	学习率
$技术分享$	第 $技术分享$ 层的单元数目（不包括偏置单元）.
$技术分享$	网络中的层数. 通常 $技术分享$ 层是输入层， $技术分享$ 层是输出层.
$技术分享$	权重衰减系数.
$技术分享$	对于一个autoencoder，该符号表示其输出值；亦即输入值 $技术分享$ 的重构值. 与 $技术分享$ 含义同样.
$技术分享$	稀疏值，能够用它指定我们所需的稀疏程度
$技术分享$	（sparse autoencoder中）隐藏单元 $技术分享$ 的平均激活值.
$技术分享$	（sparse autoencoder目标函数中）稀疏值惩处项的权重.