在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。下面我们以线性回归算法来对三种梯度下降法进行比较。一般线性回归函数的假设函数为：对应的损失函数为：（这里的1/2是为了后面求导计算方便）下图作为一个二维参数（theta0，theta1）组对应能量函数的可视化图：下面我们来分别讲解三种梯度下降法1批量梯度
分类：
其他好文 时间：
2020-11-27 10:49:35
阅读次数：
5
深度学习测试题（1）答案和解析1.损失函数的定义预测值与真实值之间的差距。选A。题中给出的是一个sigmoid函数极限的是在（0,1），这里问的是它的导数S‘(x)=S(x)(1-S(x))，所以应该是0。选B。根据复合函数求二阶导数，容易得出答案1/4。选A。首先被计算的是激活函数的梯度，选C。我们回顾下之前介绍的VGG网络结构，VGG中根据卷积核大小和数目的不同，可以分为A、A-LRN
分类：
其他好文 时间：
2020-11-16 13:28:27
阅读次数：
7
### 图像梯度 laplacian算子 img = cv2.imread('0.jpg',cv2.IMREAD_GRAYSCALE )sobelx = cv2.Sobel(img, cv2.CV_64F, 1, 0, ksize=3) # x方向sobelx = cv2.convertScaleA ...
分类：
其他好文 时间：
2020-11-02 10:21:19
阅读次数：
21
一般而言，我们需要对输入进行归一化，保证输入的特征在都分布在0-1或者-1 - +1，这样可以加快收敛，防止因某一个特征数值大造成的模型过拟合或欠拟合问题。 但深度学习因为模型深度深，常常会出现梯度爆炸或梯度消失问题，如果对每一层输入都进行特征的归一化，可以有效地解决这个问题。 BatchNorma ...
分类：
其他好文 时间：
2020-11-01 10:39:39
阅读次数：
18
TL;DR Grad-CAM（Gradient-weighted Class Activation Mapping）可为基于CNN的模型的决策生成”视觉解释“。使用任何目标概念的梯度（例如“狗”甚至是字幕的logits），流入最终的卷积层，以生成一个粗略的局部化图，突出显示了图像中用于预测此概念的区 ...
分类：
Web程序 时间：
2020-10-21 20:48:54
阅读次数：
30
定义 函数是凸的，如果dom f是凸集，且对于任意和任意，有 从几何意义上看，上述不等式意味着点(x,f(x))和(y,f(y))之间的线段，在函数f的图像上方（如下图） 一阶条件 假设f可微（即其梯度在开集dom f内处处存在），则函数f是凸函数的充要条件是dom f是凸集并且对于任意，下式成立 ...
分类：
其他好文 时间：
2020-10-10 17:12:54
阅读次数：
29
1.单层感知机 单层感知机的主要步骤： 1.对数据进行一个权重的累加求和，求得∑ 2.将∑经过一个激活函数Sigmoid，得出值O 3.再将O，经过一个损失函数mse_loss，得出值loss 4.根据loss，以及前边所求得的值，求得loss对各个w的偏导数 5.更新w值 # 单层感知机梯度的推导 ...
分类：
其他好文 时间：
2020-10-09 20:26:54
阅读次数：
20
机器学习--线性单元回归--单变量梯度下降的实现 【线性回归】 如果要用一句话来解释线性回归是什么的话，那么我的理解是这样子的： **线性回归，是从大量的数据中找出最优的线性（y=ax+b）拟合函数,通过数据确定函数中的未知参数，进而进行后续操作（预测） **回归的概念是从统计学的角度得出的，用抽样 ...
分类：
其他好文 时间：
2020-10-08 19:45:53
阅读次数：
36
Google：inline Forward Caffe 作者:jiongnima 这个作者很懒，什么都没留下… 原创 干货！caffe源码深入学习9：caffe框架神经网络反传代码解析（三）之contrastive_loss_layer源码解析 本篇博客是Caffe深度学习梯度反传代码解析的第3篇。 ...
分类：
其他好文 时间：
2020-10-07 21:44:58
阅读次数：
42
OpenCV更多形态转化：开盘、闭幕、形态梯度、顶帽、黑帽 1 static class MorphologyOperationsExample { 2 // OpenCV更多的形态转化 3 /* 4 开盘： 5 先侵蚀 后扩张 dst = open(src, element) = dilate(e ...
分类：
其他好文 时间：
2020-10-07 21:39:06
阅读次数：
46
