知识总结 （1）再次注意summary的使用 （2）`x = rdm.rand(dataset_size, 2) y_ = [[x1 2 + x2 2] for (x1, x2) in x]`这里的问题要注意 （3）注意batch时，全部先按照一套W进行前向传播，这时候在进行正则化时，加的是同一套W ...
分类：
其他好文 时间：
2019-10-03 13:02:50
阅读次数：
69
根据语义分割信息，对SR网络中间层特征进行仿射变换。（类似于BN，对特征进行正则化，置入类别先验） ...
分类：
其他好文 时间：
2019-10-02 12:31:40
阅读次数：
135
神经网络中还有一些激活函数，池化函数，正则化和归一化函数等。需要详细看看，啃一啃吧。。 1. 激活函数 1.1 激活函数作用 在生物的神经传导中，神经元接受多个神经的输入电位，当电位超过一定值时，该神经元激活，输出一个变换后的神经电位值。而在神经网络的设计中引入了这一概念，来增强神经网络的非线性能力 ...
分类：
其他好文 时间：
2019-09-26 23:30:51
阅读次数：
140
前言 博客园随笔写作可以使用 Markdown 进行编辑，当展示代码时，可以使用下面的语法来对代码块进行展示： language code content ? 一般来说，指明了 后，应该是可以是实现语法高亮的。其基本原理就是将代码中的 、 、 等待字符做正则化匹配，将纯文本的代码内容分块，与固定语法 ...
分类：
其他好文 时间：
2019-09-13 15:13:50
阅读次数：
100
本文接着上一篇《手把手教你用深度学习做物体检测(五)：YOLOv1介绍》文章，介绍YOLOv2在v1上的改进。有些性能度量指标术语看不懂没关系，后续会有通俗易懂的关于性能度量指标的介绍文章。 YOLOv2 yolov2和v1的区别 引入了Batch Normalization 有一定的正则化效果，可 ...
分类：
其他好文 时间：
2019-09-06 13:17:03
阅读次数：
116
1、参数更新 SGD、Momentum、AdaGrad(学习率衰减）、Adam 2、权重初始值 Xavier初始值（sigmoid、tanh）、He初始值（relu) 3、Batch Normalization 4、正则化 5、权重衰减 6、Dropout 7、超参数（贝叶斯最优化） 设定超参数的范 ...
分类：
其他好文 时间：
2019-09-03 11:31:33
阅读次数：
105
1、GBDT模型介绍； 2、GBDT回归算法 3、GBDT分类算法 4、GBDT的损失函数 5、正则化 6、GBDT的梯度提升与梯度下降法的梯度下降的关系； 7、GBDT的优缺点 1、GBDT模型介绍； GBDT(Gradient Boosting Decision Tree) 又名：MART（Mu ...
分类：
其他好文 时间：
2019-09-01 14:45:08
阅读次数：
697
直观理解反向传播法 反向传播算法其实就是 链式求导法则 的应用。按照机器学习的通用套路，我们先确定神经网络的目标函数，然后用 随机梯度下降优化算法 去求目标函数最小值时的参数值。 反向传播算法 损失函数与正则化项 假设我们有一个固定样本集$\{(x^{(1)},y^{(1)}),···,(x^{(m ...
分类：
其他好文 时间：
2019-08-28 12:57:41
阅读次数：
96
今天面试被问到LR的算法的梯度和正则化项，自己不太理解，所以找了一些相关资料，发现LR的算法在梯度下降，正则化和sigmoid函数方面都有很深的研究，期间也发现一些比较好的资料，记录一下。 这篇论文推导了LR和最大熵模型之间的关系 http://www.win vector.com/dfiles/L ...
分类：
其他好文 时间：
2019-08-26 21:11:02
阅读次数：
105
