深度学习系列之CNN核心内容

这里为什么CNN核心内容？原因很简答，CNN说白了就是一个更多层、更多节点的ANN，不同之处就是处理网络每一层的权值的方法不一样（CNN，当然是卷积使得权值共享，降低连接数量，同时兼顾二维特征）。从算法层面上讲，CNN的核心还是同BP网络一样，计算整个CNN网络中的误差反向传播，来更新每一层的权值，只不过这个误差反向传播更复杂。理解了CNN误差反向传播的过程，就基本上了解CNN。

DNN的背景

DNN，deep neural network，近几年机器学习算法中崛起的旗舰方法，作为分类精度最高、处理高维大数据的算法，挽救了机器学习在半个世纪里发展缓慢的颓势，也为人工智能新领域的拓展起着重要作用，来看看最近一些IT巨头在深度学习领域中的开展的工作。
2012年，《纽约时报》报道的google Brian项目，引起广泛关注，这个项目由机器学习领域大师级人物吴恩达和大规模计算机系统方面的世界顶级专家JeffDean主导，使用万为数量级的CPU数量搭建并行计算平台，模拟出10亿数量级的神经节点，让这个巨大的系统收看YouTube视频能够自学习和识别具有一个小孩的智力水平。微软在天津举办一次公开的活动展示了全自动的同声传译系统，演讲者用英语说话，后台计算机一气呵成地完成语音识别、英中文翻译、语音合成，效果非常流畅。这个系统背后的关键技术就是DNN，或者说DL(Deep Learning)。2013年，李彦宏在百度年会上高调宣布成立“深度学习研究院”。

Why DNN

深度学习，体现出仿生生物学和人工智能等领域的光辉思想，借用获得诺贝尔生理学奖的“视觉分层”理论，深度学习采用多层的分层形式来模拟视觉系统的原理，从底层的像素获取形状方向，到大脑皮层不同区域抽象迭代获得局部特征，再到提取高层特征直到能够简单识别出模式。正因为深度学习神经网络中的深层次结构，能够无遗漏地提取样本特征，具有强大的分类能力，所以深度学习相比于其他机器学习的算法，能够降低误差率，成为近年来非常热门的算法。
深度学习有着多层深层的层次结构，将底层的特征不断抽象和迭代出可标示的特征，能够发现大数据中的复杂结构，具有强大的分类能力，因而在视频图像识别、语音识别、海量文本分类等方面具有重要应用。
深度学习的思想是通过深层网络的结构自动学习和提取海量数据的特征。如果将深度学习网络看成一个信号处理系统，输入是一堆数据（一批图片或一叠文本），通过多层网络  （i=1,2..）的处理后无损地得到输出，形象表示为： I=>S1=>S2=>…=>Sn => O，如果I和O相等，说明该系统能够无损处理输入信号，这样可以不断迭代训练网络得到一个多层网络  每层网络从低到高来表述特征。所以深度学习的目的就是训练这个多层网络，得到正确的分类参数。深度学习网络的目前主流的模型主要有三种，深度信念网络，受限玻尔兹曼机和卷积神经网络。这里主要讲解机器学习课程上的卷积神经网络模型。

How CNN work

要了解CNN模型的原理，即需要理解从了解CNN网络的每一层结构、参数训练、测试分析误差等一个连续、整体的工作。
遇到的问题是一个多分类问题，假设含有c个分类结果，一共有N个样本点。
x_i^2
$$\sum_1^n\sum_1^c(y_i-O_i)^2$$
## ANN与CNN前向过程对比 ##
**ANN的误差函数与前向过程**

Typical Example

这里就机器学习方面的大师级人物LecunYann设计训练的CNN网络模型来说明问题，。
![CNN每一步的流程](http://img.blog.csdn.net/20150628142924742)