1.梯度消失（vanishing gradient problem）： 原因：例如三个隐层、单神经元网络： 假设上面是一个三层hidden layer的神经网络，每一层只有一个neuron，我们下面的分析仅仅针对bias，w也是可以类比的。 C是损失函数。 每一层的输入为z，输出为a，其中有z = ...
分类：
其他好文 时间：
2017-12-24 18:53:40
阅读次数：
315
三、BP神经网络 1、神经网络模型 首先介绍三层神经网络，如下图 输入层（input layer）有三个units（为补上的bias，通常设为1） 表示第j层的第i个激励，也称为单元unit 为第j层到第j+1层映射的权重矩阵，就是每条边的权重 所以可以得到： 隐含层： 输出层： 其中，S型函数，也 ...
分类：
编程语言 时间：
2017-12-17 15:02:02
阅读次数：
246
问题：远程PING交换机管理地址，发现交换机出现一个通一个丢包一直持续，重启交换机都没有办法解决，showlog看到接口间歇性UPDOWN，检查接口状态及光功率发下接口的Bias有报警（如下图）。NH-08-S2910XS-E#showinterfacetenGigabitEthernet0/28transceiverTransceiverType:10GB..
分类：
其他好文 时间：
2017-11-17 16:10:51
阅读次数：
1854
第六部分内容： 1.偏差/方差（Bias/variance） 2.经验风险最小化（Empirical Risk Minization，ERM） 3.联合界（Union bound） 4.一致收敛（Uniform Convergence） ...
分类：
其他好文 时间：
2017-11-04 00:17:29
阅读次数：
145
Layer时caffe的基本单元，至少有一个输入Blob（Bottom Blob）和一个输出Blob（Top Blob），有的Layer带有权值（Weight）和偏置项（Bias），有两个运算方向：前向传播（Forward）和反向传播（Backward），其中前向传播会对输入Blob进行某种处理（有 ...
分类：
其他好文 时间：
2017-10-27 21:27:59
阅读次数：
274
cost function 为了衡量神经网络的识别能力，定义cost function： C(w,b)=12n∑x(||y(x)?a||2) 其中，w表示weight参数，b表示bias参数，n表示训练集中所有数据的个数，a表示对于输入x，通过神经网络后的输出为a，y(x)是数据x的实际标签。如果C ...
分类：
其他好文 时间：
2017-10-27 20:35:01
阅读次数：
171
【 biased regression methods to reduce variance 通过偏回归来减小方差】 https://onlinecourses.science.psu.edu/stat857/node/137 Introducing biased regression method ...
分类：
其他好文 时间：
2017-09-29 19:31:58
阅读次数：
162
常用层 常用层对应于core模块，core内部定义了一系列常用的网络层，包括全连接、激活层等 Dense层 Dense就是常用的全连接层，所实现的运算是output = activation(dot(input ,kernel) + bias ).其中activation是逐元素计算的激活函数，ke ...
分类：
其他好文 时间：
2017-09-21 16:45:15
阅读次数：
355
【方差 协方差】方差 variance协方差 covariancehttps://en.wikipedia.org/wiki/Variance方差 一个随机变量的方差描述的是它的离散程度，一个实随机变量的方差，也成为它的二阶矩或二阶中心动差。Informally, it measures how f ...
分类：
其他好文 时间：
2017-09-16 17:26:50
阅读次数：
187
FixedAffineComponent：类 LDA-like 的非相关转换，由标准的 weight matrix plus bias 组成（即Wx+b），通过标准的 stochastic gradient descent（非minibatch SGD？） 训练而来，使用 global learni... ...
分类：
Web程序 时间：
2017-09-09 23:14:20
阅读次数：
443
