转自穆晨 阅读目录 前言 算法原理 回归分类器的形式 最佳回归系数的确定 基于梯度上升法的最佳回归参数拟合 拟合结果展示 更好的求最值方法 - 随机梯度上升 小结 阅读目录 前言 算法原理 回归分类器的形式 最佳回归系数的确定 基于梯度上升法的最佳回归参数拟合 拟合结果展示 更好的求最值方法 - 随 ...
分类：
编程语言 时间：
2017-10-08 16:49:45
阅读次数：
206
整理一下之前所学过的关于回归问题的思路： 问题引入：房屋估价，给定新的房屋信息，预测出相应的房屋价格； 学习过程：构建模型h(θ)； 线性回归：最小二乘法、梯度下降法、线性模型的概率解释； 局部加权回归：带权重的线性回归、权值的钟形函数； 逻辑回归：分类方法、梯度上升法、牛顿法、引出感知机学习算法； ...
分类：
其他好文 时间：
2016-11-03 01:53:41
阅读次数：
463
形式：
采用sigmoid函数：g(z)=11+e?zg(z)=\frac{1}{1+e^{-z}}
其导数为g′(z)=(1?g(z))g(z)g^\prime(z)=(1-g(z))g(z)
假设：
即：
若有m个样本，则似然函数形式是：
对数形式：
采用梯度上升法求其最大值
求导：
更新规则为：
可以发现，则个规则形式上和LMS更新规则是一样...
分类：
编程语言 时间：
2016-04-22 19:32:34
阅读次数：
314
这个系列是为了应对找工作面试时面试官问的算法问题，所以只是也谢算法的简要介绍，后期会陆续补充关于此
算法的常见面问题。
一、Logistic回归
先说下logistic回归，它是根据现有数据对分类边界建立回归公式，以此进行分类。其计算代价不高，易于实现与理解，但是容易欠拟合、分类精度不太高；
logistic回归可以看成是一种概率估计，使用的的是sigmioid函数，...
分类：
编程语言 时间：
2015-08-26 12:04:29
阅读次数：
286
《机器学习实战》第五章《Logistic回归》中讲到了梯度上升法，随机梯度上升法和改进的随机梯度上升法，下面把这几个算法思想总结一下。首先，梯度上升法比较简单，根据梯度上升的迭代公式计算出了回归系数。书中并没有采取最小二乘法之类的规则来作为迭代终止的条件，而是直接..
分类：
编程语言 时间：
2015-07-21 18:55:19
阅读次数：
241
根据李航博士总结的统计学习三要素方法=模型+策略+算法，对应于逻辑回归
模型=基于单极型函数(逻辑函数)的条件概率模型
策略=经验损失对应的训练样本先验概率最大化
算法=随机梯度上升法
逻辑回归MATLAB代码比较简单，如下所示，循环对所有的样本，进行梯度上升算法
function [w]=LogisticRegression(x,y,learningRate,m...
分类：
编程语言 时间：
2015-06-21 09:28:53
阅读次数：
624
随机梯度上升法--一次仅用一个样本点来更新回归系数（因为可以在新样本到来时对分类器进行增量式更新，因而属于在线学习算法）梯度上升法在每次更新回归系统时都需要遍历整个数据集，该方法在处理100个左右的数据集时尚可，但如果有数十亿样本和成千上万的特征，那么该方法的计算复杂度太高了。随机梯度上升算法伪代码...
分类：
其他好文 时间：
2015-01-20 20:05:00
阅读次数：
265
二种类别的点在平面上分布，我想找到一条直线，将平面划为两半边，每一边的点类别尽可能的统一，如何找到效果最佳的分界线，这就是最佳拟合问题，也叫作回归问题。 这次，代码很少。logRegres.py #?coding:utf-...
分类：
其他好文 时间：
2014-07-21 10:24:21
阅读次数：
321
回顾上次内容：http://blog.csdn.net/acdreamers/article/details/27365941
经过上次对Logistic回归理论的学习，我们已经推导出取对数后的似然函数为
现在我们的目的是求一个向量，使得最大。其中
对这个似然函数求偏导后得到...
分类：
其他好文 时间：
2014-06-01 04:34:43
阅读次数：
410
