来源：https://blog.csdn.net/sinat_32043495/article/details/78841553 全连接层 / FC layer 两层之间所有神经元都有权重连接 通常全连接层在卷积神经网络尾部 激励层(ReLU)把卷积层输出结果做非线性映射 Sigmoid Tanh( ...
分类：
其他好文 时间：
2019-11-10 19:08:28
阅读次数：
103
一、梯度消失与爆炸 二、Xavier方法与Kaiming方法 1、Xavier初始化 方差一致性：保持数据尺度维持在恰当范围，通常方差为1 激活函数：饱和函数，如Sigmoid，Tanh 三、常用初始化方法 10种： Xavier均匀分布、正态分布 Kaiming均匀分布、正态分布 均匀分布、正态分 ...
分类：
其他好文 时间：
2019-11-08 09:36:50
阅读次数：
109
线性回归之梯度下降法 1.梯度的概念 梯度是一个向量，对于一个多元函数$f$而言，$f$在点$P(x,y)$的梯度是$f$在点$P$处增大最快的方向，即以f在P上的偏导数为分量的向量。以二元函数$f(x,y)$为例，向量$\{\frac{\partial f}{\partial x},\frac{\ ...
分类：
编程语言 时间：
2019-11-07 23:24:10
阅读次数：
112
在图的鞍点位置，?标函数在x轴?向上是局部最小值，但在y轴?向上是局部最?值。假设?个函数的输?为k维向量，输出为标量，那么它的海森矩阵（Hessian matrix）有k个特征值（参?附录中“数学基础”?节）。该函数在梯度为0的位置上可能是局部最小值、局部最?值或者鞍点。 ?当函数的海森矩阵在梯度 ...
分类：
其他好文 时间：
2019-11-06 15:03:39
阅读次数：
251
引入动量（Momentum）方法一方面是为了解决“峡谷”和“鞍点”问题；一方面也可以用于SGD 加速，特别是针对高曲率、小幅但是方向一致的梯度。 如果把原始的 SGD 想象成一个纸团在重力作用向下滚动，由于质量小受到山壁弹力的干扰大，导致来回震荡；或者在鞍点处因为质量小速度很快减为 0，导致无法离开 ...
分类：
编程语言 时间：
2019-11-05 01:20:26
阅读次数：
220
问题描述 先来看看问题描述。 当我们使用sigmoid funciton 作为激活函数时，随着神经网络hidden layer层数的增加，训练误差反而加大了，如上图所示。 下面以2层隐藏层神经网络为例，进行说明。 结点中的柱状图表示每个神经元参数的更新速率(梯度)大小，有图中可以看出，layer2整 ...
分类：
其他好文 时间：
2019-11-04 14:05:19
阅读次数：
68
我是一个地地道道的技术人员，今天不跟大家讲复杂的数学原理，其实从图像就可以看出来一些蛛丝马迹，X是呱呱坠地的我们，W是指引我们前进的方向，B是我们生活的压力值，Func会根据W和B显示我们的轨迹，然而轨迹的平缓程度与好多复杂的因素有关，Y是我们的终点 很明显X,Y我们没办法控制，W和B的初始值也是随 ...
分类：
其他好文 时间：
2019-11-02 11:45:30
阅读次数：
80
Neural Turing Machine 神经图灵机 论文原文地址： "http://arxiv.org/pdf/1410.5401.pdf" 一般的神经网络不具有记忆功能，输出的结果只基于当前的输入；而LSTM网络的出现则让网络有了记忆：能够根据之前的输入给出当前的输出。但是，LSTM的记忆程度 ...
分类：
系统相关 时间：
2019-10-30 18:09:02
阅读次数：
97
1.把w初始化为0 在神经网络中，把w初始化为0是不可以的。这是因为如果把w初始化0，那么每一层的神经元学到的东西都是一样的（输出是一样的），而且在bp的时候，每一层内的神经元也是相同的，因为他们的gradient相同。 2.对w随机初始化 初始化容易出现梯度消失或者梯度爆炸的问题。 3.Xavie ...
分类：
其他好文 时间：
2019-10-30 11:43:56
阅读次数：
166
线性回归 决定系数越接近一那么预测效果越好 对于多元线性回归和一元线性回归推导理论是一致的，只不过参数是多个参数而已 梯度下降 梯度下降法存在局部最小值 <!--StartFragment --> 太小迭代次数多，太大将无法迭代到最优质 <!--StartFragment --> 梯度下降发容易到达 ...
分类：
其他好文 时间：
2019-10-30 00:04:12
阅读次数：
200
