1 梯度下降法我们使用梯度下降法是为了求目标函数最小值f（X）对应的X，那么我们怎么求最小值点x呢？注意我们的X不一定是一维的，可以是多维的，是一个向量。我们先把f（x）进行泰勒展开：这里的α是学习速率，是个标量，代表X变化的幅度；d表示的是单位步长，是一个矢量，有方向，单位长度为1，代表X变化的方...
分类：
其他好文 时间：
2014-12-18 22:07:28
阅读次数：
294
NG的课件1，引出常用的优化方法梯度下降法(gradient descent) 对于 ordinary least squares regression， cost function为 求最小值，意味着求导数为0的位置 考虑只有一个样本 这叫做LMS update rule (Least Mean ...
分类：
其他好文 时间：
2014-12-09 08:11:49
阅读次数：
330
线性回归算法优缺点：优点：结果易于理解，计算不复杂缺点：对非线性数据拟合不好适用数据类型：数值型和标称型算法思想：这里是采用了最小二乘法计算（证明比较冗长略去）。这种方式的优点是计算简单，但是要求数据矩阵X满秩，并且当数据维数较高时计算很慢；这时候我们应该考虑使用梯度下降法或者是随机梯度下降（同Lo...
分类：
其他好文 时间：
2014-12-06 01:21:06
阅读次数：
892
感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1. 感知机模型 感知机模型如下：f(x)= sig.....
分类：
其他好文 时间：
2014-11-15 20:14:01
阅读次数：
345
matlab可以用-Conjugate gradient-BFGS-L-BFGS等优化后的梯度方法来求解优化问题。当feature过多时，最小二乘计算复杂度过高（O(n**3)），此时这一些列优化版梯度下降算法就成为了解优化问题的更优选择。它们的优点为：不需要像对原始梯度下降那样手动选择学习速率α一...
分类：
其他好文 时间：
2014-11-14 22:45:17
阅读次数：
785
一、基本概念梯度下降法，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。 最速下降法的一种简单形式是：x(k+1)=x(k)-a*g(k),其中a称为学习速率，可以是较小的常数。g（k）是x(k)的梯度。二、导数(1)定义设...
分类：
其他好文 时间：
2014-11-05 10:32:40
阅读次数：
516
机器学习算法 原理、实践与实战 —— 感知机感知机（perceptron）是二分类的线性分类模型，输入为特征向量，输出为实例的类别，取值+1和-1。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，引入了基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。1. 感知机...
分类：
其他好文 时间：
2014-11-03 14:26:40
阅读次数：
270
这几天在看《统计学习方法》这本书，发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用，所以就特别查了些资料。 一.介绍 梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。二.应用...
分类：
其他好文 时间：
2014-10-30 20:54:29
阅读次数：
895
梯度下降法的原理，本文不再描述，请参阅其它资料。梯度下降法函数function [k ender]=steepest(f,x,e)，需要三个参数f、x和e,其中f为目标函数，x为初始点,e为终止误差。输出也为两个参数，k表示迭代的次数，ender表示找到的最低点。steepest.m:functio...
分类：
其他好文 时间：
2014-10-15 02:31:49
阅读次数：
399
