1 # 利用鸢尾花数据集，实现前向传播、反向传播，可视化loss曲线 2 3 # 导入所需模块 4 import tensorflow as tf 5 from sklearn import datasets 6 from matplotlib import pyplot as plt 7 impo ...
分类：
其他好文 时间：
2020-05-03 20:43:40
阅读次数：
80
1 # 利用鸢尾花数据集，实现前向传播、反向传播，可视化loss曲线 2 3 # 导入所需模块 4 import tensorflow as tf 5 from sklearn import datasets 6 from matplotlib import pyplot as plt 7 %mat ...
分类：
其他好文 时间：
2020-05-03 20:11:54
阅读次数：
75
一张验证码图片直接做整体识别 也就是图片的最后输出节点有4*26=104个，经过一个softmax，使用交叉熵损失，与真实值4*26=104个标签做计算，然后反向传播 104个onehot编码真实值当中，每26个编码里会有一个正例1其余25个为零，4个26个编码里有4个值为1，其余和图片分类一样 意 ...
分类：
其他好文 时间：
2020-04-29 00:46:34
阅读次数：
108
反向传播算法在神经网络中站很大的地位,大多数神经网络都能用反向传播算法进行训练, 但不少初学者不容易弄懂(比如说我),所以写个小白版教程很有必要 (这里不讲前向传播,可自行寻找相关信息) 首先先规定一些宏: LS:神经网络的层数 NF(n):神经网络第n层的神经元个数BF(n,a):神经网络第n层第 ...
分类：
编程语言 时间：
2020-04-27 13:26:14
阅读次数：
72
目录 RNN概述 RNN模型 RNN前向传播 RNN反向传播算法 其它RNN 一、RNN概述 RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。 首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事 ...
分类：
其他好文 时间：
2020-04-08 20:58:51
阅读次数：
215
实质理解： 训练过程： CNN在做卷积的时候，每一层的输出（可理解为形成的高维特征向量）是通过卷积的前向传播算法和反向传播算法（也就是梯度下降算法），结合真实的标签（前向传播结果与真实标签做误差）， 将前向传播的结果无限逼近具有真实标签，在此过程中不断的更新权重，形成具有真实标签类别信息的权重矩阵。 ...
分类：
其他好文 时间：
2020-03-23 20:35:15
阅读次数：
83
DeepLift是基于反向传播的特征打分算法 目前已有的反向传播算法或基于扰动的打分算法会遇到一个问题 就是在经过Relu激活函数的时候梯度会变为0，但是此特征不一定是无用特征。 情况如下: 可以看见i1，i2都是有效特征，但是在i1+i2大于0的时候，他们的导数会变为0从而导致打分出错。 论文中提 ...
分类：
其他好文 时间：
2020-03-07 19:14:51
阅读次数：
905
自编码AutoEncoder是一种无监督学习的算法，他利用反向传播算法，让目标值等于输入值。什么意思呢，下面举个例子 有一个神经网络，它在做的事情是，输入一张图片，通过一个Encoder神经网络，输出一个比较"浓缩的"feature map。之后将这个feature map通过一个Decoder网络 ...
分类：
Web程序 时间：
2020-03-04 22:31:01
阅读次数：
71
网络结构 输入层、隐含层(多层)、输出层 单个神经元结构，g(z)为激励函数，线性组合，非线性处理 逻辑回归 正向传播预测结果，反向传播调整w和b 激励函数 作用：提供规模化的非线性化能力 常用： 损失函数 单次训练损失： 全部训练损失： 梯度下降 逻辑回归梯度下降 同步更新 网络向量化 网络梯度下 ...
分类：
其他好文 时间：
2020-02-17 20:11:10
阅读次数：
111
循环神经网络进阶 BPTT 反向传播过程中，训练模型通常需要模型参数的梯度。 $$ \frac{\partial L}{\partial \boldsymbol{W}_{qh}} = \sum_{t=1}^T \text{prod}\left(\frac{\partial L}{\partial \ ...
分类：
其他好文 时间：
2020-02-17 16:13:02
阅读次数：
85
