二、训练 接下来回到train.py第160行，通过调用sw.train_model方法进行训练： 方法中的self.solver.step(1)即是网络进行一次前向传播和反向传播。前向传播时，数据流会从第一层流动到最后一层，最后计算出loss，然后loss相对于各层输入的梯度会从最后一层计算回第一 ...
分类：
其他好文 时间：
2018-12-17 02:20:31
阅读次数：
229
一、反思 二、反向传播 三、ubuntu安装caffe ...
分类：
其他好文 时间：
2018-12-12 23:40:13
阅读次数：
292
半年前用numpy写了个鸢尾花分类200行。。每一步计算都是手写的 python构建bp神经网络_鸢尾花分类 现在用pytorch简单写一遍，pytorch语法解释请看上一篇pytorch搭建简单网络 运行结果趋近于0.5 正确，单纯练一下pytorch，就没有分训练集，测试集 不用手写反向传播和梯 ...
分类：
其他好文 时间：
2018-12-12 17:41:57
阅读次数：
527
反向传播原理比较简单，先定义损失函数，然后使用梯度下降算法找到最小化损失函数的W和b，梯度下降算法需要计算损失函数对w和b的偏导，求偏导只使用了一个链式法则。 1、反向转播 2、参数更新 η是学习率 ...
分类：
其他好文 时间：
2018-12-10 13:54:50
阅读次数：
318
[神经网络]反向传播梯度计算数学原理 1 文章概述 本文通过一段来自于Pytorch官方的warm-up的例子：使用numpy来实现一个简单的神经网络。使用基本的数学原理，对其计算过程进行理论推导，以揭示这几句神奇的代码后面所包含的原理。 估计对大多数的同学来说，看完这个文章，肯定会是这样的感觉：字 ...
分类：
其他好文 时间：
2018-11-19 11:19:48
阅读次数：
166
BP神经网络是1968年由Rumelhart和Mcclelland为首的科学家提出的概念，是一种按照误差反向传播算法进行训练的多层前馈神经网络，是目前应用比较广泛的一种神经网络结构。BP网络神经网络由输入层、隐藏层和输出层三部分构成，无论隐藏层是一层还是多层，只要是按照误差反向传播算法构建起来的网络 ...
分类：
数据库 时间：
2018-11-18 20:31:10
阅读次数：
818
#!/usr/bin/envpython2#-*-coding:utf-8-*-"""CreatedonFriAug1016:13:292018@author:myhaspl"""frommxnetimportndfrommxnetimportautogradx=nd.array([[1,2],[3,4]])x.attach_grad()#在ndarray里准备存储梯度withautograd.r
分类：
Web程序 时间：
2018-11-14 12:23:37
阅读次数：
419
"github博客传送门" "csdn博客传送门" 计算出损失值后,这个损失值越小越好,梯度下降的算法就用在这里,帮助寻找最小的那个损失值,从而反推出 w 和 b 达到优化模型的效果 常用的梯度下降法可以分为: 1. 批量梯度下降:遍历全部数据集算一次损失,计算量大,计算速度慢,不支持在线学习 2. ...
分类：
其他好文 时间：
2018-11-04 14:49:48
阅读次数：
185
神经网络及其实现 神经网络的表示 最小的神经网络 两层神经网络 在下图的表示中将参数b放到了中，每一层增加了一个值为1的隐藏单元 X为输入变量 为权重矩阵（所要计算的参数） 为隐藏层变量 g为激活函数 反向传播算法 下面我们从一个简单的例子入手考虑如何从数学上计算代价函数的梯度，考虑如下简单的神经网... ...
分类：
其他好文 时间：
2018-10-26 22:24:09
阅读次数：
329
[TOC] I. 基础知识 在对CNN进行概览之前，请先务必清楚以下问题： 机器学习基础知识： 1. 什么是“全连接”？ 2. 前向传播和反向传播各自的作用是？为什么需要反向传播？ 3. 什么是感知机？其致命缺陷是什么？ 4. 常见的激活函数有哪些？“激活”了什么特性？（非线性，最直接解决了亦或问题 ...
分类：
其他好文 时间：
2018-10-19 00:01:01
阅读次数：
214
