梯度的衰减是有连续乘法导致的，如果在连续乘法中出现一个非常大的值，最后计算出的梯度就会很大，就想当优化到断崖处是，会获得一个很大的梯度值，如果以这个梯度值进行更新，那么这次迭代的步长就很大，可能会一下子飞出了合理的区域。 解决的方法是： 梯度裁剪： 把沿梯度下降方向的步长限制在一个范围之内，计算出来 ...
分类：
其他好文 时间：
2019-06-30 17:27:30
阅读次数：
422
HOG+SVM流程 1.提取HOG特征 灰度化 + Gamma变换(进行根号求解) 计算梯度map(计算梯度) 图像划分成小的cell，统计每个cell梯度直方图 多个cell组成一个block, 特征归一化 多个block串接,并归一化 2.训练SVM分类器 ...
分类：
其他好文 时间：
2019-06-30 17:22:18
阅读次数：
111
Python 实现简单的梯度下降法 机器学习算法常常可以归结为求解一个最优化问题，而梯度下降法就是求解最优化问题的一个方法。 梯度下降法（gradient descent）或最速下降法（steepest decent），是求解无约束最优化问题的一种最常用的方法。 梯度下降法实现简单，是一种迭代算法， ...
分类：
编程语言 时间：
2019-06-30 09:32:22
阅读次数：
116
1 import matplotlib.pyplot as plt 2 import numpy as np 3 import xlrd 4 5 def sigmoid(x): 6 """ 7 Sigmoid function. 8 Input: 9 x:np.array 10 Return: 11... ...
分类：
其他好文 时间：
2019-06-30 09:19:18
阅读次数：
239
1、 HOG特征 方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得 ...
分类：
其他好文 时间：
2019-06-28 11:42:44
阅读次数：
92
一、梯度下降法 1、标准梯度下降法（GD） 公式：Wt+1=Wt?ηtΔJ(Wt) 其中，WtWt表示tt时刻的模型参数。 从表达式来看，模型参数的更新调整，与代价函数关于模型参数的梯度有关，即沿着梯度的方向不断减小模型参数，从而最小化代价函数。 基本策略可以理解为”在有限视距内寻找最快路径下山“， ...
分类：
其他好文 时间：
2019-06-27 11:02:21
阅读次数：
235
1.随机森林（RF） RF是对bagging的进化版，首先都是有放回的进行采样，获得n个训练集从而训练n个弱分类器，但是RF在随机选取的训练集的基础上对于特征的选择也是随机的，随机的选取一部分的特征进行弱分类器的构建，同时在划分建树的过程中也是从这些随机选取的部分特征中选择最优的特征。(使用的为同质 ...
分类：
其他好文 时间：
2019-06-26 20:43:34
阅读次数：
171
像这样的由全部变量的偏导数汇总而成的向量称为梯度（gradient），梯度可以像下面这样来实现,这里使用的是用数值微分求梯度的方法。 梯度法 虽然梯度的方向并不一定指向最小值，但沿着它的方向能够最大限度地减小函数的值。因此，在寻找函数的最小值（或者尽可能小的值）的位置的任务中，要以梯度的信息为线索， ...
分类：
其他好文 时间：
2019-06-25 00:09:50
阅读次数：
116
梯度下降法、最速下降法、牛顿法等迭代求解方法，都是在无约束的条件下使用的，而在有约束的问题中，直接使用这些梯度方法会有问题，如更新后的值不满足约束条件。如何处理有约束的优化问题？大致可以分为以下两种方式： 1. 将有约束的问题转化为无约束的问题，如拉格朗日乘子法和KKT条件； 2. 对无约束问题下的... ...
分类：
其他好文 时间：
2019-06-24 21:23:08
阅读次数：
202
前提 神经网络中有合适的权重和偏置，调整权重和偏置以便拟合训练数据的过程称为学习。神经网络的学习分为下面4 个步骤。 步骤1（mini-batch） 从训练数据中随机选择一部分数据。步骤2（计算梯度） 计算损失函数关于各个权重参数的梯度。步骤3（更新参数） 将权重参数沿梯度方向进行微小的更新。步骤4 ...
分类：
其他好文 时间：
2019-06-24 21:14:50
阅读次数：
115
