前面在mnist中使用了三个非线性层来增加模型复杂度，并通过最小化损失函数来更新参数，下面实用最底层的方式即张量进行前向传播（暂不采用层的概念）。 主要注意点如下： · 进行梯度运算时，tensorflow只对tf.Variable类型的变量进行记录，而不对tf.Tensor或者其他类型的变量记录 ...
分类：
其他好文 时间：
2020-01-22 20:05:16
阅读次数：
121
在实际使用的时候，神经网络是很复杂的，要借助计算图才能使其条理清晰，让复杂的事情变的直观便于研究。 神经网络的计算是有一个前向传播以及一个反向传播构成的。 先通过前向传播计算出预测结果以及损失；然后再通过反向传播计算出损失函数关于每一个参数 w,b 的偏导数，并对这些参数进行梯度下降 然后用新的参数 ...
分类：
其他好文 时间：
2020-01-19 09:19:03
阅读次数：
60
BP算法工作流程及数学推导, 核心: 多元函数求偏导, 熟练应用链式法则就搞定了. ...
分类：
编程语言 时间：
2020-01-18 19:41:25
阅读次数：
93
1 import tensorflow as tf 2 import numpy as np 3 4 """ 5 使用tensorflow 实现简单的 线性回归 y = np.dot(x, W) + b 6 """ 7 8 def f1(): 9 """ 10 先使用常量进行构建，展示大致的业务逻辑 ...
分类：
其他好文 时间：
2020-01-15 14:08:13
阅读次数：
74
论文题目：The Reversible Residual Network：Backpropagation Without Storing Activations 一、背景介绍 二、神经网络的反向传播(BP) 符号表示： X1,X2,X3：表示3个输入层节点 Wtji：表示从t-1层到t层的权重参数， ...
分类：
Web程序 时间：
2020-01-11 23:49:16
阅读次数：
457
原文链接： "这里" 介绍 反向传播算法可以说是神经网络最基础也是最重要的知识点。基本上所以的优化算法都是在反向传播算出梯度之后进行改进的。同时，也因为反向传播算法是一个递归的形式，一层一层的向后传播误差即可，很容易实现（这部分听不懂没关系，下面介绍）。不要被反向传播吓到，掌握其核心思想就很容易自己 ...
分类：
编程语言 时间：
2020-01-08 00:42:19
阅读次数：
159
下面要说的基本都是《动手学深度学习》这本花书上的内容，图也采用的书上的 首先说的是训练误差(模型在训练数据集上表现出的误差)和泛化误差(模型在任意一个测试数据集样本上表现出的误差的期望) 模型选择 验证数据集(validation data set)，又叫验证集(validation set)，指用 ...
分类：
其他好文 时间：
2020-01-06 11:13:27
阅读次数：
446
来源：https://www.jianshu.com/p/c02a1fbffad6 简单易懂的softmax交叉熵损失函数求导 来写一个softmax求导的推导过程，不仅可以给自己理清思路，还可以造福大众，岂不美哉~ softmax经常被添加在分类任务的神经网络中的输出层，神经网络的反向传播中关键的 ...
分类：
其他好文 时间：
2020-01-01 18:58:50
阅读次数：
67
数据集为： 代码为： 1 # encoding: utf-8 2 3 import tensorflow as tf 4 import numpy as np 5 import seaborn as sns 6 import matplotlib.pyplot as plt 7 from sklea ...
分类：
其他好文 时间：
2019-12-29 18:25:22
阅读次数：
209
下文都将 简写成 Module: 就是我们常用的 类，你定义的所有网络结构都必须继承这个类。 Buffer: buffer和parameter相对，就是指那些不需要参与反向传播的参数 示例如下： Parameter: 是 ，也就是组成Module的参数。例如一个 通常由 和`bias require ...
分类：
其他好文 时间：
2019-12-20 22:35:01
阅读次数：
331
