1、批量梯度下降 批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。从数学上理解如下： 对应的目标函数（代价函数）即为： （1）对目标函数求偏导： （2）每次迭代对参数进行更新： 优点： （1）一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。 （2）由全 ...
分类：
其他好文 时间：
2019-10-03 10:22:44
阅读次数：
46
本文主要介绍AlextNet的一些知识，这些知识经常被忽略 一、AlextNet的创新点 （1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了， ...
分类：
Web程序 时间：
2019-10-02 18:32:27
阅读次数：
121
batchsize过小：每次计算的梯度不稳定，引起训练的震荡比较大，很难收敛。 batchsize过大： （1）提高了内存利用率，大矩阵乘法并行计算效率提高。 （2）计算的梯度方向比较准，引起的训练的震荡比较小。 （3）跑完一次epoch所需要的迭代次数变小，相同数据量的数据处理速度加快。 缺点：容 ...
分类：
其他好文 时间：
2019-10-02 16:55:28
阅读次数：
90
function [k ender]=steepest(f,x,e) % f=x1-x2+2*x1^2+2*x1*x2+x2^2; 假设f等于% x=[0;0];% e=10^(-20);syms x1 x2 m; %m为学习率d=-[diff(f,x1);diff(f,x2)] %分别求x1和x2 ...
分类：
其他好文 时间：
2019-10-01 14:29:50
阅读次数：
124
从概率分布的角度考虑，对于一堆样本数据，每个均有特征Xi对应分类标记yi。 生成模型：学习得到联合概率分布P(x,y)，即特征x和标记y共同出现的概率，然后求条件概率分布。能够学习到数据生成的机制。 判别模型：学习得到条件概率分布P(y|x)，即在特征x出现的情况下标记y出现的概率。 数据要求：生成 ...
分类：
编程语言 时间：
2019-10-01 14:02:33
阅读次数：
122
canny canny的目标有3个 低错误率 检测出的边缘都是真正的边缘 定位良好 边缘上的像素点与真正的边缘上的像素点距离应该最小 最小响应 边缘只能标识一次,噪声不应该标注为边缘 canny分几步 滤掉噪声 比如高斯滤波 计算梯度 比如用索贝尔算子算出梯度 非极大值抑制 上一步算出来的边缘可能比 ...
分类：
编程语言 时间：
2019-09-30 21:34:03
阅读次数：
98
最优化方法介绍提到最优化方法，常见的有梯度下降法（衍生出来的有批梯度下降，随机梯度下降）、牛顿法（衍生出来了拟牛顿）等。我们知道，最优化在机器学习中，是为了优化损失函数，求得其最小值，即为(mathop {min }limits_theta f({x_theta }))，其中 (theta) 为损失... ...
分类：
编程语言 时间：
2019-09-29 13:01:53
阅读次数：
91
z = f(x,y) x,y属于集合D，M0（x0，y0）属于集合D 见图可知，可以类比于上山下山的过程，在M0点是此时在p0点的一个向下的投影，在p0点存在上山下山情况，可以去各个方向。过m0点做一条射线l，上面存在m点(x0+Δx,y0+Δy)在l上在l上，Δz = f(x0+Δx,y0+Δy) ...
分类：
其他好文 时间：
2019-09-28 20:32:35
阅读次数：
103
word2vec
负采样
目标函数
反向梯度
层次softmax
NPLM的目标函数和反向梯度
目标函数
反向梯度
GNN(图神经网络)
deepwalk
node2vec
附录 ...
分类：
其他好文 时间：
2019-09-28 10:32:30
阅读次数：
132
