本文主要讲解局部加权(线性)回归。在讲解局部加权线性回归之前，先讲解两个概念：欠拟合、过拟合，由此引出局部加权线性回归算法。欠拟合、过拟合 如下图中三个拟合模型。第一个是一个线性模型，对训练数据拟合不够好，损失函数取值较大。如图中第二个模型，如果我们在线性模型上加一个新特征项，拟合结果就会好一些.....
分类：
其他好文 时间：
2015-08-05 20:20:46
阅读次数：
312
逻辑回归（Logistic Regression）是机器学习中的一种分类模型，由于算法的简单和高效，在实际中应用非常广泛。本文作为美团机器学习InAction系列中的一篇， 主要关注逻辑回归算法的数学模型和参数求解方法，最后也会简单讨论下逻辑回归和贝叶斯分类的关系，以及在多分类问题上的推广。逻辑回归...
分类：
其他好文 时间：
2015-07-13 15:27:02
阅读次数：
343
根据李航博士总结的统计学习三要素方法=模型+策略+算法，对应于逻辑回归
模型=基于单极型函数(逻辑函数)的条件概率模型
策略=经验损失对应的训练样本先验概率最大化
算法=随机梯度上升法
逻辑回归MATLAB代码比较简单，如下所示，循环对所有的样本，进行梯度上升算法
function [w]=LogisticRegression(x,y,learningRate,m...
分类：
编程语言 时间：
2015-06-21 09:28:53
阅读次数：
624
鲁棒局部加权回归算法参考文献：（1） Robust Locally Weighted Regression and Smoothing Scatterplots (Willism_S.Cleveland)（2） 数据挖掘中强局部加权回归算法实现 (虞乐,肖基毅)R实现#Robust Locally ...
分类：
其他好文 时间：
2015-06-09 15:21:42
阅读次数：
494
【原创】Liu_LongPo 转载请注明出处
【CSDN】http://blog.csdn.net/llp1992softmax 回归模型，是logistic 回归模型在多分类问题上的推广。关于logistic回归算法的介绍，前面博客已经讲得很清楚，详情可以参考博客机器学习实战ByMatlab（五）Logistic Regression 在logistic回归模型中，我们的激励函数sigmoid的...
分类：
编程语言 时间：
2015-05-17 15:21:26
阅读次数：
401
本文主要介绍logistic回归相关知识点和一个手写识别的例子实现
一、logistic回归介绍：
logistic回归算法很简单，这里简单介绍一下：
1、和线性回归做一个简单的对比
下图就是一个简单的线性回归实例，简单一点就是一个线性方程表示
(就是用来描述自变量和因变量已经偏差的方程)
2、logistic回归
可以看到下图，很难找到一条线性方程能将他们很好的分开...
分类：
其他好文 时间：
2015-05-10 22:27:27
阅读次数：
207
案例：从疝气病症预测病马的死亡率
准备数据时，数据中的缺失值是个非常棘手的问题。因为有时候数据相当昂贵，扔掉和重新获取都是不可取的，所以必须采用一些方法来解决这个问题。
在预处理阶段需要做两件事：第一，所有的缺失值必须用一个实数值来替换，因为我们使用的NumPy数据类型不允许包含缺失值。这里选择实数0来替换所有缺失值，恰好能适用于Logistic回归。第二，如果...
分类：
编程语言 时间：
2015-05-08 09:41:46
阅读次数：
187
1.1 逻辑回归算法
1.1.1 基础理论
logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。
它与线性回归的不同点在于：为了将线性回归输出的很大范围的数，例如从负无穷到正无穷，压缩到0和1之间，这样的输出值表达为“可能性”才能说服广大民众。当然了，把大值压缩到这...
分类：
编程语言 时间：
2015-05-07 18:55:51
阅读次数：
391
1、Spark MLlib
Linear Regression线性回归算法
1.1 线性回归算法
1.1.1 基础理论
在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。
回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条...
分类：
编程语言 时间：
2015-05-06 23:07:57
阅读次数：
669
梯度下降法的基本思想是函数沿着其梯度方向增加最快，反之，沿着其梯度反方向减小最快。在前面的线性回归和逻辑回归中，都采用了梯度下降法来求解。梯度下降的迭代公式为：θj=θj?α?J(θ)?θj 在回归算法的实验中，梯度下降的步长α为0.01，当时也指出了该步长是通过多次时间找到的，且换一组数据后，.....
分类：
其他好文 时间：
2015-04-20 22:22:53
阅读次数：
972
