码迷,mamicode.com
首页 > 数据库 > 详细

人工神经网络 深度学习 MLP RBF RBM DBN DBM CNN 整理学习

时间:2014-11-07 01:03:38      阅读:895      评论:0      收藏:0      [点我收藏+]

标签:style   http   io   color   ar   os   sp   div   on   

注:整理自向世明老师的PPT


内容提要

1 发展历史
2 前馈网络(单层感知器,多层感知器,径向基函数网络RBF)
3 反馈网络(Hopfield网络,联想存储网络,SOM,Boltzman及受限的玻尔兹曼机RBM,DBN,CNN)


发展历史

bubuko.com,布布扣





单层感知器

1 基本模型
bubuko.com,布布扣
bubuko.com,布布扣

2 如果激励函数是线性的话,可用最小二乘直接计算
bubuko.com,布布扣
3 如果激励函数是sifmoid function,可迭代更新(一次性或者逐样本更新)
bubuko.com,布布扣
上式只做了简单的求导展开,很容易推导

bubuko.com,布布扣




多层感知器

1 基本模型
bubuko.com,布布扣

bubuko.com,布布扣

2 举例(含有一个隐含层的多层感知器MLP)

模型:
bubuko.com,布布扣

y=h(v)=h(h(u))

求解:
bubuko.com,布布扣
这里怎么转换到6k(xi)的?


然后分别对两个层的权值求导:
bubuko.com,布布扣

然后更新即可,反向传播(BP)
bubuko.com,布布扣


bubuko.com,布布扣


3 经验
bubuko.com,布布扣
4 优缺点
bubuko.com,布布扣
bubuko.com,布布扣



RBF神经网络

1 模型
bubuko.com,布布扣
2 求解
bubuko.com,布布扣

3 优点和视角
bubuko.com,布布扣
bubuko.com,布布扣





深度学习简介

1 前向神经网络
bubuko.com,布布扣

2 发展历程
bubuko.com,布布扣
3 整体一览
bubuko.com,布布扣

4 一些值得关注
学术
bubuko.com,布布扣
工业
bubuko.com,布布扣







Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥

1 Belief Network
bubuko.com,布布扣
2 Hopfield Network
bubuko.com,布布扣
3 Boltzman机
bubuko.com,布布扣
4 RBM 受限的玻尔兹曼机
bubuko.com,布布扣





RBM

1 模型
bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣
利用上图中公式,可以得到
bubuko.com,布布扣


2 求解 CD算法
bubuko.com,布布扣

bubuko.com,布布扣
bubuko.com,布布扣

bubuko.com,布布扣
bubuko.com,布布扣

bubuko.com,布布扣
bubuko.com,布布扣
bubuko.com,布布扣

bubuko.com,布布扣





DBN

1 模型
bubuko.com,布布扣
2 训练
面向特征提取
bubuko.com,布布扣
面向分类
bubuko.com,布布扣






DBM

模型
bubuko.com,布布扣



CNN

1 模型
bubuko.com,布布扣

2 训练
bubuko.com,布布扣

bubuko.com,布布扣
bubuko.com,布布扣



参考文献

bubuko.com,布布扣
bubuko.com,布布扣

人工神经网络 深度学习 MLP RBF RBM DBN DBM CNN 整理学习

标签:style   http   io   color   ar   os   sp   div   on   

原文地址:http://blog.csdn.net/lanbing510/article/details/40874173

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!