感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1. 感知机模型 感知机模型如下：f(x)= sig.....
分类：
其他好文 时间：
2014-11-15 20:14:01
阅读次数：
345
matlab可以用-Conjugate gradient-BFGS-L-BFGS等优化后的梯度方法来求解优化问题。当feature过多时，最小二乘计算复杂度过高（O(n**3)），此时这一些列优化版梯度下降算法就成为了解优化问题的更优选择。它们的优点为：不需要像对原始梯度下降那样手动选择学习速率α一...
分类：
其他好文 时间：
2014-11-14 22:45:17
阅读次数：
785
梯度下降是回归问题中求cost function最小值的有效方法，对大数据量的训练集而言，其效果要好于非迭代的normal equation方法。 在将其用于多变量回归时，有两个问题要注意，否则会导致收敛速度小，甚至无法收敛。1. 特征均一化（Feature Scaling） 当特征量多时，...
分类：
其他好文 时间：
2014-11-08 16:35:06
阅读次数：
135
Machine Learning:Linear Regression With Multiple Variables
接着上次预测房子售价的例子，引出多变量的线性回归。
接着上次预测房子售价的例子，引出多变量的线性回归。
多变量梯度下降跟单变量一样需同步更新所有的theta值。
进行feature scaling的原因是为了使grad...
分类：
系统相关 时间：
2014-11-07 01:02:19
阅读次数：
413
一、基本概念梯度下降法，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。 最速下降法的一种简单形式是：x(k+1)=x(k)-a*g(k),其中a称为学习速率，可以是较小的常数。g（k）是x(k)的梯度。二、导数(1)定义设...
分类：
其他好文 时间：
2014-11-05 10:32:40
阅读次数：
516
机器学习算法 原理、实践与实战 —— 感知机感知机（perceptron）是二分类的线性分类模型，输入为特征向量，输出为实例的类别，取值+1和-1。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，引入了基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。1. 感知机...
分类：
其他好文 时间：
2014-11-03 14:26:40
阅读次数：
270
由于第一次实验的实验报告不在这台机器，先写这一算法吧。SGDLR（the Stochastic Gradient Descent for Logistic Regression），要讲解这一算法，首先要把名字拆为几块。1 随机 2 梯度下降 3逻辑回归先贴一篇文章：http://blog.csdn....
分类：
编程语言 时间：
2014-10-31 21:53:01
阅读次数：
389
这几天在看《统计学习方法》这本书，发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用，所以就特别查了些资料。 一.介绍 梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。二.应用...
分类：
其他好文 时间：
2014-10-30 20:54:29
阅读次数：
895
最近学习了一种叫做 Factorization Machines（简称 FM）的通用算法，它可对任意的实值向量进行预测。其主要优点包括: 1) 可用于高度稀疏数据场景; 2) 具有线性的计算复杂度。本文将对 FM 框架进行简单介绍，并对其训练算法 — 随机梯度下降（SGD） 法和交替最小二乘法（ALS）法进行详细推导。...
分类：
系统相关 时间：
2014-10-28 12:21:35
阅读次数：
333
最近学习了一种叫做 Factorization Machines（简称 FM）的通用算法，它可对任意的实值向量进行预测。其主要优点包括: 1) 可用于高度稀疏数据场景; 2) 具有线性的计算复杂度。本文将对 FM 框架进行简单介绍，并对其训练算法 — 随机梯度下降（SGD）法和交替最小二乘（ALS）法进行详细推导。...
分类：
系统相关 时间：
2014-10-28 12:21:25
阅读次数：
371
