码迷,mamicode.com
首页 > 其他好文 > 详细

深度学习入门介绍系列1

时间:2014-12-13 12:14:04      阅读:240      评论:0      收藏:0      [点我收藏+]

标签:深度学习   神经网络   大数据   algorithm   人工智能   

深度学习概述


深度:
从输入产生一个输出的计算,可以被一个有向图来表达:一个有向图是一个表达计算的图,每个节点表达一个计算元素和一个值(计算结果,就是根据该节点的孩子节点的值计算的)。每一个节点和可能的图结构组成的计算集合就定义了一个函数系列。输入节点没有孩子节点,输出节点没有父亲节点。


下面表达sin(a^2+b/a)的有向图可以通过两个输入节点a,b,一个表达b/a的节点,一个表达a^2的节点,一个表达a^2+b/a的节点,一个表达sin的节点,还有一个附加的输入节点组成。


一个有向图的重要属性是depth,从输入到输出的最长路径。通常的前馈神经网络深度和其层数相同。SVM有两个深度。




深度学习的动机:


深度学习的主要动机包括下面三个部分:
1,深度不足是有害的。
2,大脑是深度学习架构。
3,认知过程是深层次的




深度不足是有害的:
在许多情况下深度2基本是足够(逻辑门,formal neurons, sigmoid-neurons,RBF unit),去表达任何函数了。但是这个是有代价的:图上的节点数目可以增长到很大。理论结果表明当输入的大小指数级增长的时候,存在的函数系列也会相同的增长。这个已经被逻辑门,formal neurons,RBF unit等证实。随后一点,Hastad也证明了当深度是d的时候函数的系列可以被O(N)个节点有效的表达,但是当深度是d-1的时候,节点的个数将是o(2^n).


你可以把深度架构当作是一种因式分解。特别随意的函数不能被深度和浅度的架构表达。但是大多数能够被深度架构有效表达的函数系列,不能被浅度的有效表达。深度表达的存在表明,目标函数的表达依赖某种结构,如果没有合适的结构,它可能不能很好的泛化。


大脑有一个深度就架构:
例如,现代成熟研究的视觉皮层标识,每个区域表达了一个输入,信号从一个地方流到另一个地方。每个层级特称继承性的表达的输入,在不同程度的抽象上。高层的更抽象,低下的更细节。


认知看起来是深度的:
--人类是通过继承全系组织概念的
--人类先学习简单的概念,然后将其组织抽象的概念
--工程上也是将解决方案拆成多个层次的抽象进行处理的


深度学习的突破:


2006年之前,尝试训练一个深层网路学习失败了,因为训练前馈神经网络却产生了比浅度更糟糕的结果。但是2006年的三个论文改变了这一现状,亨特的DBN是其最代表的论文。
--Hinton, G. E., Osindero, S. and Teh, Y., A fast learning algorithm for deep belief nets Neural Computation 18:1527-1554, 2006
--Yoshua Bengio, Pascal Lamblin, Dan Popovici and Hugo Larochelle, Greedy Layer-Wise Training of Deep Networks, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems 19 (NIPS 2006), pp. 153-160, MIT Press, 2007
--Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra and Yann LeCun Efficient Learning of Sparse Representations with an Energy-Based Model, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems (NIPS 2006), MIT Press, 2007




这三个论文里体现了下面的三个原则:
--无监督学习特征被用来对每一层进行训练
--除了对上层外,每次训练一层,并使用无监督学习。每层学到的特征作为下层的输入。
--使用监督学习做最后的调优各层的手段。


DBN 使用 RBM来做无监督学习。Bengio的论文讲解了RBMS和autoencoder. Ranzato在卷积架构中使用稀疏编码。  后续将会继续讲解autocode,和卷积架构。




如果大家感兴趣,可以参看 Learning Deep Architectures for AI:http://www.iro.umontreal.ca/~lisa/publications2/index.php/publications/show/239

深度学习入门介绍系列1

标签:深度学习   神经网络   大数据   algorithm   人工智能   

原文地址:http://blog.csdn.net/rodneyzhaonet/article/details/41908953

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!