码迷,mamicode.com
首页 > 其他好文 > 详细

[数据挖掘课程笔记]人工神经网络(ANN)

时间:2015-10-16 06:18:24      阅读:219      评论:0      收藏:0      [点我收藏+]

标签:

技术分享

            人工神经网络(Artificial Neural Networks)顾名思义,是模仿人大脑神经元结构的模型。上图是一个有隐含层的人工神经网络模型。X = (x1,x2,..,xm)是ANN的输入,也就是一条记录的在m个属性上的值。每个属性对应一个输入节点。

         对于输入层来说,输入层的输出Oi就是输入层的输入xi。

         对于隐含层的其中一个节点j来说,节点j的输入为ΣOiwij (i的取值为所有与节点j相连的输入层节点)。可以发现,节点与节点之间的连接是有一个权重的,这个权重将会影响最后的分类结果。而我们对ANN的训练过程,实际上也就是调整权重的过程。

         而隐含层的输出,引入一个激励函数,此时,将激励函数设为

技术分享

        上图中激励函数中的自变量x,在ANN中就是这个节点的输入,也就是ΣOiwij

        对于输出层来说,输入值就是隐含层的输出值。而输出层的输出值,与隐含层的计算方法类似。通常,取相同的激励函数。

 

前向算法:用来对一条数据进行分类。通过以上的计算方法,可以得出一个输出,将这个输出与阈值相比较,就能能出分类结果。

 

后向算法:用来训练模型,调整权重。


技术分享

 

     E表示ANN预测的分类与真实分类的误差。我们的目标是将E变的越小越好。

    给定一个标注好的数据集技术分享,可以定义这样一个误差函数:

 技术分享

   计算E的梯度技术分享

   技术分享

    上式为下降的“步子”

 

 

Batch neural network training

     思想:对于每一天记录,都算出其O,再计算E,求出梯度,调整w。

Online training

    思想:根据每一天单挑记录,修改权重。

    优点:更快的收敛率和减少陷入局部最优解的可能。

    算法过程技术分享

 

技术分享

技术分享

技术分享

技术分享

技术分享

 

 

[数据挖掘课程笔记]人工神经网络(ANN)

标签:

原文地址:http://www.cnblogs.com/leeshum/p/4884104.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!