①输入、输出矢量及问题的阐述 由题意输入变量取值范围为e={-2,-1,0,1,2}和ec={-2,-1,0,1,2}，则输入矢量有25种情况，分别如下所示： 则由T=int((e+ec)/2) ，采用向下取整，可得输出矢量T为： 该问题可描述为通过训练BP神经网络实现模糊控制规则T=int((e+ ...
分类：
其他好文 时间：
2020-02-15 18:21:23
阅读次数：
106
正向传播 正向传播的计算图 通常绘制计算图来可视化运算符和变量在计算中的依赖关系。下图绘制了本节中样例模型正向传播的计算图，其中左下角是输入，右上角是输出。可以看到，图中箭头方向大多是向右和向上，其中方框代表变量，圆圈代表运算符，箭头表示从输入到输出之间的依赖关系。 反向传播 训练深度学习模型 在训 ...
分类：
其他好文 时间：
2020-02-15 15:34:33
阅读次数：
79
梯度与反向传播 1.对于一个二元函数f(x, y)，有?$\nabla f = [\frac{\partial f}{\partial x} , \frac{\partial f}{\partial y}]$ 因此可知，梯度是一个向量而不是一个标量 2.利用链式法则解释何为反向传播： f(x,y,z ...
分类：
其他好文 时间：
2020-02-12 16:42:11
阅读次数：
99
第四周 深度神经网络的核心概念 第 31 题 在我们的前向传播和后向传播实现中使用的“缓存”是什么？ A.它用于在训练期间缓存成本函数的中间值。 B.我们用它将在正向传播过程中计算的变量传递到相应的反向传播步骤。它包含了反向传播计算导数的有用值。 C.它用于跟踪我们正在搜索的超参数，以加快计算速度。 ...
分类：
其他好文 时间：
2020-02-04 23:26:34
阅读次数：
200
原博客：https://blog.csdn.net/huplion/article/details/79069365 （在此仅作学习记录作用） 一、前言 在前几篇文章中，我们学习到如何在训练集上设置权重，并由此计算出损失(loss)，其中loss是有两部分组成，分别是数据损失项和正则化项目。我们最终 ...
分类：
编程语言 时间：
2020-02-02 13:57:38
阅读次数：
57
原博客：https://blog.csdn.net/sinat_36458870/article/details/82824529（此处只做学习记录用） 回顾上次的内容，其实就会发现，虽然我们构造好了损失函数，可以简单使用导数的定义解决损失函数优化问题，但是并不高效。 1. 该课程，主要是： 反向传 ...
分类：
其他好文 时间：
2020-02-01 21:42:55
阅读次数：
57
1. 零均值化 / 中心化：对输入图片进行预处理，计算训练数据中所有图片的每个位置的均值，然后每张图片的元素减自己位置对应的均值。零均值化后的图片以（0，0）为中心，所有图片的对应位置的元素均值为0 PCA和白化： 2. 为什么要对数据零均值化？ 为了在反向传播中加快网络中每一层权重参数的收敛（这是 ...
分类：
其他好文 时间：
2020-01-31 10:45:16
阅读次数：
171
Relu优点： 1、可以使网络训练更快。 相比于sigmoid、tanh，导数更加好求，反向传播就是不断的更新参数的过程，因为其导数不复杂形式简单。 2、增加网络的非线性。 本身为非线性函数，加入到神经网络中可以是网格拟合非线性映射。 3、防止梯度消失。 当数值过大或者过小，sigmoid，tanh ...
分类：
其他好文 时间：
2020-01-28 21:01:30
阅读次数：
295
1、卷积神经网络(CNN) 和 递归神经网络(RNN) 2、损失函数在反向传播中的作用 - 简书.html（https://www.jianshu.com/p/f987103ec046） 可以看出损失函数基本都是由真实值和预测值两部分组成，正确的损失函数，可以起到让预测值一直逼近真实值的效果，当预测 ...
分类：
其他好文 时间：
2020-01-26 14:36:41
阅读次数：
62
1. 前向传播和反向传播 ①前向传播 forward propagation：从前往后，根据输入和参数计算输出值和损失值，并将当地梯度（local gradient），即每个结点的输出值对该节点的输入值的偏导数，保留 在内存中以供反向传播计算梯度时使用，注意：前一个结点的输出是后一个结点的输入 ②反 ...
分类：
其他好文 时间：
2020-01-24 18:57:01
阅读次数：
132
