标签：

1. 简介

    神经网络和深度学习是由Michael Nielsen所写，其特色是：兼顾理论和实战，是一本供初学者深入理解Deep Learning的好书。

2. 感知器与sigmoid神经元

2.1 感知器(Perceptrons)

     感知器工作原理：接收一系列二进制输入，经过特定的规则计算之后，输出一个简单的二进制。

     计算规则：通过引入权重(weights)表示每个输入对于输出的重要性，则有

    记w?x=∑jwjxj，b=-threshold，则有

    其w是权重，b是偏差。

2.2 Sigmoid神经元(Sigmoid Neurons)

    为了使学习变得可能，需要具备的【学习特征】：权重或偏差有较小的变化，导致输出也有较小的变化。如下图所示：

      感知器网络存在的缺陷是：某个感知器较小的权重或偏差变化，可能导致输出在0与1之间进行翻转。所以包含感知器的网络不具备【学习特征】。

   幸运的是：Sigmoid神经元具有此【学习特征】，即其较小的权重或偏差变化，导致其输出变化较小。

   Sigmoid函数：

   Sigmoid神经元输出：

    感知器与sigmoid神经元的差别：

     1） 感知器只输出0或1

     2）sigmoid神经元不只输出0或1，而可输出[0,1]之间的任意值

3. 神经网络架构

3.1 手写数字识别

    训练图像大小为28x28，每个训练图像有一个手写数字。

    在输出层，如果第一个神经元被激活（即其输出接近1），则此网络认为此手写数字为0；

                      如果第二个神经元被激活（即其输出接近1），则此网络认为此手写数字为1；

                      其它以此类推。

3.2 算法描述

    设x表示训练图像，则x是一个28x28=784维列向量。

    表示输入图片x是数字6   。

    需要寻找一个算法来发现w和b，使其输出接近标签值，为了量化接近程序，定义如下成本函数：

    w：所有权重的集合

    b：所有偏差的集合

    n：训练样本数

    a： 输出向量(10维列向量，其值依赖x,w,b)

    x：一幅训练图像

    ||v||：表示向量的范数，即向量的长度

    C：二次成本函数(mean squared error or MSE)

    如果接近于0，表示y(x)接近输出a，即学习效果很好。

3.2.1 学习目标

    如何找到满足要求的w和b：答案是梯度下降法(Gradient Descent)

    1）最小化二次成本函数

    2）检测分类的准确性

    学习目标：在训练神经网络中，找到使二次成本最小的w和b的集合。

3.2.2 梯度下降更新规则

神经网络和深度学习-学习总结

标签：

原文地址：http://blog.csdn.net/myarrow/article/details/51322433