应用场合：功耗（休眠）以及自组网（动态路由，梯度法寻径）是其特点。距离短、功耗低且传输速率不高的各种电子设备之间进行有周期性数据、间歇性数据和低反应时间数据传输的应用（智能家居/仓储中转/伞兵落地协同/停车场定位）。是一种高可靠（高强度数据算法直序扩频技术(DSSS)，它是一种抗干扰能力极强（抗同频 ...
分类：
其他好文 时间：
2019-08-20 12:18:56
阅读次数：
120
目录 BN的由来 BN的作用 BN的操作阶段 BN的操作流程 BN可以防止梯度消失吗 为什么归一化后还要放缩和平移 BN在GoogLeNet中的应用 参考资料 BN的由来 BN是由Google于2015年提出，论文是《Batch Normalization_ Accelerating Deep Ne ...
分类：
其他好文 时间：
2019-08-20 10:52:25
阅读次数：
160
目录 梯度消失 梯度爆炸 参考资料 以下图的全连接神经网络为例，来演示梯度爆炸和梯度消失： 梯度消失 在模型参数w都是(-1,1)之间的数的前提下，如果激活函数选择的是sigmod(x)，那么他的导函数σ’(x)的值域为(0,0.25]，即如下三项的范围都是(0,0.25] 那么w1的导数会有很多( ...
分类：
其他好文 时间：
2019-08-20 10:41:06
阅读次数：
101
激活函数是神经网络中一个重要的环节，本文将介绍为什么神经网络网络要利用激活函数，几种常用的激活函数(逻辑函数Sigmoid、双曲正切函数tanh、线性整流函数(ReLU)，神经网络中的梯度消失问题和ReLU如何避免梯 ...
分类：
其他好文 时间：
2019-08-19 10:05:59
阅读次数：
159
1.了解不同优化器 2.书写优化器代码3.Momentum4.二维优化，随机梯度下降法进行优化实现5.Ada自适应梯度调节法6.RMSProp7.Adam8.PyTorch种优化器选择 梯度下降法： 1.标准梯度下降法：GD每个样本都下降一次，参考当前位置的最陡方向迈进容易得到局部最优，且训练速度慢 ...
分类：
其他好文 时间：
2019-08-18 19:49:45
阅读次数：
94
论文：https://arxiv.org/pdf/1811.05233.pdf 译文：大规模分布式SGD：瞬间训练完基于ImageNet的ResNet50 摘要 由于大mini-batch训练的不稳定性（为什么不稳定？），和梯度同步的开销，深度学习分布式训练很难线性扩展到拥有大量GPU的集群。我们通 ...
分类：
Web程序 时间：
2019-08-17 14:17:26
阅读次数：
219
目录 1、回顾： 2、常见的激活函数都有哪些？ 3、多层神经网络里面故事： 4、如何训练神经网络？ 1、回顾： 回顾下之前学习的内容。人工神经网络里面有重要的三条内容，一个是加和，加function，把前面的输入所对应模型的权重相乘相加，第二经过一个非线性变化，第三signal out输出。如果把f ...
分类：
其他好文 时间：
2019-08-16 19:04:51
阅读次数：
101
第4章 训练模型 写在前面 参考书 《机器学习实战——基于Scikit Learn和TensorFlow》 工具 python3.5.1，Jupyter Notebook, Pycharm 线性回归算法比较 | 算法 | m很大 | 是否支持核外 | n很大 | 超参数 | 是否需要缩放 | skl ...
分类：
其他好文 时间：
2019-08-16 14:31:57
阅读次数：
78
unmix 该程序用来消除“像素混叠”。所谓像素混叠，是值在自然场景的图像中，边缘线成像到cmos的像素上时，某些像素会刚好跨在该边缘线上。 这样的像素特点就是，其R、G、B三色像素梯度值不一致。比如说cmos上，每个彩色像素有R、G、B三色传感器组成，其排列方式是依次从左向右排序。 那么，如果刚好 ...
分类：
其他好文 时间：
2019-08-15 17:21:01
阅读次数：
109
介绍: http://adl.stanford.edu/aa222/Lecture_Notes_files/chapter6_gradfree.pdf Nelder–Mead 算法 direct 算法. https://ctk.math.ncsu.edu/Finkel_Direct/ ...
分类：
编程语言 时间：
2019-08-14 10:55:28
阅读次数：
113
