一、序言 Adam是神经网络优化的另一种方法，有点类似上一篇中的“动量梯度下降”，实际上是先提出了RMSprop（类似动量梯度下降的优化算法），而后结合RMSprop和动量梯度下降整出了Adam，所以这里我们先由动量梯度下降引申出RMSprop，最后再介绍Adam。不过，由于RMSprop、Adam ...
分类：
其他好文 时间：
2019-10-30 00:00:33
阅读次数：
357
一、序言 动量梯度下降也是一种神经网络的优化方法，我们知道在梯度下降的过程中，虽然损失的整体趋势是越来越接近0，但过程往往是非常曲折的，如下图所示： 特别是在使用mini-batch后，由于单次参与训练的图片少了，这种“曲折”被放大了好几倍。前面我们介绍过L2和dropout，它们要解决的也是“曲折 ...
分类：
其他好文 时间：
2019-10-29 11:14:30
阅读次数：
93
为高效找到使损失函数的值最小的参数，关于最优化（optimization）提了很多方法。 其中包括： SGD（stochastic gradient descent，随机梯度下降）Momentum（冲量算法）AdagradAdam 各优化算法比较实验（python） # -*- coding: ut ...
分类：
编程语言 时间：
2019-10-28 16:13:48
阅读次数：
82
一、前言 回顾一下前面讲过的两种解决过拟合的方法： 1）L0、L1、L2：在向前传播、反向传播后面加个小尾巴 2）dropout：训练时随机“删除”一部分神经元 本篇要介绍的优化方法叫mini-batch，它主要解决的问题是：实际应用时的训练数据往往都太大了，一次加载到电脑里可能内存不够，其次运行速 ...
分类：
其他好文 时间：
2019-10-28 01:09:04
阅读次数：
121
file: tensorflow/python/training/learning_rate_decay.py 参考：tensorflow中常用学习率更新策略 神经网络中通过超参数 learning rate，来控制每次参数更新的幅度。学习率太小会降低网络优化的速度，增加训练时间；学习率太大则可能导 ...
分类：
其他好文 时间：
2019-10-04 22:48:22
阅读次数：
176
目标检测算法可以分为两类： 一类是基于region proposal的R-CNN系列算法（R-CNN，Fast R-CNN, Faster R-CNN），它们是two-stage的。要先使用启发式方法（selective search）或者CNN网络（RPN）产生region proposal，然后 ...
分类：
其他好文 时间：
2019-08-26 14:40:27
阅读次数：
136
很多时候大家听说了这些但是去看就发现打不开这个其实是可以通过工具解决的，这些都是网络问题，去弄个网络优化工具，连上海外的IP优化好网络就可以了，优化工具点这里点击进入优化好网络后在去开这些，你会发现这些无法打开的网址可以直接开了
分类：
其他好文 时间：
2019-08-22 10:44:23
阅读次数：
374
1.了解不同优化器 2.书写优化器代码3.Momentum4.二维优化，随机梯度下降法进行优化实现5.Ada自适应梯度调节法6.RMSProp7.Adam8.PyTorch种优化器选择 梯度下降法： 1.标准梯度下降法：GD每个样本都下降一次，参考当前位置的最陡方向迈进容易得到局部最优，且训练速度慢 ...
分类：
其他好文 时间：
2019-08-18 19:49:45
阅读次数：
94
目录 1.概述 1 1.1 项目背景 1 客户端 3 Distributed Master 3 Worker Service 5 Kernel Implements 6 技术栈 7 一、 神经网络的实现过程 8 二、 前向传播 8 三、后向传播 10 四、搭建神经网络的过程 11 神经网络优化 12 ...
分类：
其他好文 时间：
2019-07-11 20:33:10
阅读次数：
171
在用户眼中，优秀的音视频产品应该具有清晰、低延时、流畅、秒开、抗丢包、高音效等特征。为了满足用户以上要求，网易云信的工程师通过自建源站，在SDK端为了适应网络优化进行QoS优化，对视频编码器进行优化，同时对音频算法进行优化。 推荐阅读 《短视频技术详解：Android端的短视频开发技术》 《如何快速 ...
分类：
移动开发 时间：
2019-07-02 19:32:18
阅读次数：
196
