系列博客，原文在笔者所维护的github上：https://aka.ms/beginnerAI， 点击star加星不要吝啬，星越多笔者越努力。 第2章 神经网络中的三个基本概念 2.0 通俗地理解三大概念 这三大概念是：反向传播，梯度下降，损失函数。 神经网络训练的最基本的思想就是：先“猜”一个结果 ...
分类：
其他好文 时间：
2019-12-20 11:52:06
阅读次数：
460
https://zhuanlan.zhihu.com/p/25081671 原文链接：http://colah.github.io/posts/2015 08 Backprop/ ...
分类：
其他好文 时间：
2019-12-13 19:39:40
阅读次数：
73
一、【微积分】 基础概念（极限、可微与可导、全导数与偏导数）：只要学微积分，就必须要明白的概念，否则后面什么都无法继续学习。函数求导：求导是梯度的基础，而梯度是 AI 算法的基础，因此求导非常重要！必须要搞清楚概念，并学会常见函数的导函数求法。链式法则：符合函数求导法则，反向传播算法的理论基础。泰勒 ...
分类：
其他好文 时间：
2019-12-11 17:13:30
阅读次数：
100
系列博客，原文在笔者所维护的github上：https://aka.ms/beginnerAI， 点击star加星不要吝啬，星越多笔者越努力。 2.2 非线性反向传播 2.2.1 提出问题 在上面的线性例子中，我们可以发现，误差一次性地传递给了初始值w和b，即，只经过一步，直接修改w和b的值，就能做 ...
分类：
其他好文 时间：
2019-11-26 13:20:00
阅读次数：
67
参数初始化 是否可以将全部参数初始化为0 同一层的任意神经元都是同构的 它们的输入输出都相同，因此前向反向传播的取值完全相同 训练一直是对称的，同一层参数都是相同的 随机初始化参数 初始化参数为取值范围$( \dfrac{1}{\sqrt{d}}, \dfrac{1}{\sqrt{d}})$的均匀分 ...
分类：
其他好文 时间：
2019-11-24 17:43:54
阅读次数：
77
系列博客，原文在笔者所维护的github上：https://aka.ms/beginnerAI， 点击star加星不要吝啬，星越多笔者越努力。 第2章 神经网络中的三个基本概念 2.0 通俗地理解三大概念 这三大概念是：反向传播，梯度下降，损失函数。 神经网络训练的最基本的思想就是：先“猜”一个结果 ...
分类：
其他好文 时间：
2019-11-22 13:38:55
阅读次数：
76
<! TOC "正向传播" "反向传播" "训练深度学习模型" "小结" <! /TOC 前几节里面我们使用了小批量随机梯度下降的优化算法来训练模型。在实现中，我们只提供了模型的正向传播的(forward propagation)计算，即对于输入计算模型输出，然后通过autograd模块来调用系统自 ...
分类：
其他好文 时间：
2019-11-16 12:58:18
阅读次数：
68
摘要：本文主要介绍了神经网络的基本概念以及误差反向传播算法的推导。 1、关于神经网络的几个重要概念 神经元模型：类似于神经元细胞结构的模型。如下图： 解释：每一个神经元都是相对独立的，将输入的若干个数据经过加权处理之后求和，作为一个总体输入（在上图中就是线性模型），然后将该总体输入作为变量送给激活函 ...
分类：
编程语言 时间：
2019-11-12 20:07:46
阅读次数：
102
一、前言 回顾一下前面讲过的两种解决过拟合的方法： 1）L0、L1、L2：在向前传播、反向传播后面加个小尾巴 2）dropout：训练时随机“删除”一部分神经元 本篇要介绍的优化方法叫mini-batch，它主要解决的问题是：实际应用时的训练数据往往都太大了，一次加载到电脑里可能内存不够，其次运行速 ...
分类：
其他好文 时间：
2019-10-28 01:09:04
阅读次数：
121
讲授卷积神经网络核心思想、卷积层、池化层、全连接层、网络的训练、反向传播算法、随机梯度下降法、AdaGrad算法、RMSProp算法、AdaDelta算法、Adam算法、迁移学习和fine tune等。 大纲： 卷积神经网络简介 视觉神经网络的核心思想 卷积神经网络的核心思想 卷积运算 卷积层的原理 ...
分类：
其他好文 时间：
2019-10-25 13:37:25
阅读次数：
104
