神经网络学习（一）

这一系列的文章，了解各大唱片《神经网络设计》这本书的收益和总结。

第一部分介绍了三网融合：

• 感知
• Hamming
• Hopfield

感知机

採用对称硬极限传输函数hardlims的单层感知机

两输入感知机,w11 = -1, w22 = 1例如以下

a = hardlims(n) = hardlims([-1 1]p + b)

Hamming

Hamming网络的目标时判定哪个标准向量最接近输入向量。

判定结果由递归层的输出表示。

1. R为样本空间维数
2. S为神经元个数

• 前馈层

前馈层用于实现每一个标准模式和输入模式之间的相关检測或求内积。

为了使得前馈层能够完毕其功能，能够用标准模式设置其权值矩阵的行，该权值矩阵用连接矩阵W1表示。

之所以称该网络为Hmming网，是由于在前馈层中具有最大输出的神经元正好相应于输入模式Hamming距离近期的标准模式。

• 递归层

该层的神经元用前馈层的输出进行初始化，此输出指出标准模式和输入向量之间的关系。

描写叙述竞争的等式为

  a2(0) = a1                    （初始条件）
a2(t+1) = poslin(W2a2(t))       （迭代）

Hopfield网络

这个网络利用输入向量对网络中的神经元进行初始化，然后网络不断迭代直至收敛。

假设网络执行正确，那么终于的输出结果将是一个标准的向量。

描写叙述等式为

    a(0) = p
a(t + 1) = satlins(Wa(t) + b)

结束语

个人对三种网络的理解例如以下

• 感知机是bp前馈网络的一个单元。并不涉及到反馈。通过反馈机制能够从数据中学习得到相关的參数。

  适合处理那些线性可分的问题。

• Hamming计算出已存储的标准模式和输入模式之间的測度距离，通过竞争决定哪一个神经元表示的标准模式最接近于输入模式。
• Hopfield主要用于联想存储中，其存储的数据能由相关的输入数据回顾出来。而无需用一个地址对其訪问。即让数据收敛到我希望的值（联想存储），而无需实际的分配地址空间去存储该值。