码迷,mamicode.com
首页 > 其他好文 > 详细

【转载】深度学习&神经网络 科普及八卦 学习笔记

时间:2016-12-11 14:49:48      阅读:252      评论:0      收藏:0      [点我收藏+]

标签:blog   大量   str   多个   故障   区别   googl   智能   code   

上一篇文章提到了数据挖掘、机器学习、深度学习的区别:http://www.cnblogs.com/charlesblc/p/6159355.html

深度学习具体的内容可以看这里:

参考了这篇文章:https://zhuanlan.zhihu.com/p/20582907?refer=wangchuan  《王川: 深度学习有多深, 学了究竟有几分? (一)》
笔记:神经网络的研究,因为人工智能的一位大牛Marvin Minsky的不看好,并且出书说明其局限性,而出现二十年的长期低潮。
 
笔记: 分布式表征 (Distributed Representation), 是神经网络研究的一个核心思想.    
它的意思是,当你表达一个概念的时候,不是用单个神经元,一对一地存储定义; 概念和神经元是多对多的关系: 一个概念可以用多个神经元共同定义表达, 同时一个神经元也可以参与多个不同概念的表达.

举个最简单的例子, 一辆 "大白卡车",如果分布式地表达,一个神经元代表大小,一个神经元代表颜色,第三个神经元代表车的类别. 三个神经元同时激活时,就可以准确描述我们要表达的物体.

分布式表征,和传统的 局部表征 (localized representation) 相比,存储效率高很多. 线性增加的神经元数目,可以表达指数级增加的大量不同概念.

分布式表征的另一个优点是,即使局部出现硬件故障,信息的表达不会受到根本性的破坏.

这个理念让 Geoffrey Hinton 顿悟, 使他四十多年来, 一直在神经网络研究的领域里坚持下来没有退缩.

神经网络的一代鼻祖是多伦多大学的Geoffrey Hinton。 Geoffrey Hinton和吴恩达一起在Google搞深度学习 (Google Brain Project).
 
来一张图吧,来自https://www.zhihu.com/question/27177122
 
技术分享

从左至右:

Yann LeCun :卷积神经网络,参考http://www.leiphone.com/news/201406/deep-learning-yann-lecun-facebook.html
Geoffrey Hinton :深度学习鼻祖
Yoshua Bengio :也是深度学习
Andrew Ng :Hinton的合作伙伴

都是深度学习相关的,也可以看这篇文章:Link《Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗?》

    
这几个人还有错综复杂的关系:
 
技术分享

 

 
 
 
在系列里面,能找到全部文章: https://zhuanlan.zhihu.com/wangchuan
他的公众号的文章也挺好的,可以看:Link
 

【转载】深度学习&神经网络 科普及八卦 学习笔记

标签:blog   大量   str   多个   故障   区别   googl   智能   code   

原文地址:http://www.cnblogs.com/charlesblc/p/6159416.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!