原文http://blog.csdn.net/maverick1990/article/details/11721453欠拟合与过拟合概念本次课程大纲：1、局部加权回归：线性回归的变化版本2、概率解释：另一种可能的对于线性回归的解释3、Logistic回归：基于2的一个分类算法4、感知器算法：对于3...
分类：
其他好文 时间：
2015-03-28 18:33:49
阅读次数：
179
对线性回归，logistic回归和一般回归 【转自】：http://www.cnblogs.com/jerrylead JerryLead 2011年2月27日 作为一个机器学习初学者，认识有限，表述也多有错误，望大家多多批评指正。1 摘要 本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后...
分类：
其他好文 时间：
2015-03-18 10:22:16
阅读次数：
133
本节知识点： 贝叶斯统计及规范化 在线学习 如何使用机器学习算法解决具体问题：设定诊断方法，迅速发现问题 贝叶斯统计及规范化（防止过拟合的方法） 就是要找更好的估计方法来减少过度拟合情况的发生。 回顾一下，线性回归中使用的估计方法是最小二乘法，logistic 回归是条件概率的最大似然估计，朴素贝叶...
分类：
其他好文 时间：
2015-03-13 22:08:45
阅读次数：
417
广义线性模型
广义线性模型应满足三个假设：
第一个假设为给定X和参数theta,Y的分布服从某一指数函数族的分布。
第二个假设为给定了X，目标是输出 X条件下T(y)的均值，这个T(y)一般等于y，也有不等的情况，
第三个假设是对假设一种的变量eta做出定义。
指数函数族
前面提到了指数函数族，这里给出定义，满足以下形式的函数构成了指数函数族：...
分类：
其他好文 时间：
2015-03-12 22:33:16
阅读次数：
216
Logistic Regression 罗杰斯特回归（最常见到的翻译：Logistic回归）。
分类：
其他好文 时间：
2015-03-11 19:11:21
阅读次数：
288
起源：线性神经网络与单层感知器古老的线性神经网络，使用的是单层Rosenblatt感知器。该感知器模型已经不再使用，但是你可以看到它的改良版：Logistic回归。可以看到这个网络，输入->加权->映射->计算分类误差->迭代修改W、b，其实和数学上的回归拟合别无二致。其中迭代修改参数，使目标函数收...
分类：
其他好文 时间：
2015-03-08 17:05:16
阅读次数：
153
Reference：http://ufldl.stanford.edu/wiki/index.php/Softmax_regression起源：Logistic的二类分类 Softmax回归是Logistic回归的泛化版本，用于解决线性多类（K类）的分类问题。Logistic回归可以看作是Softm...
分类：
其他好文 时间：
2015-03-05 20:58:17
阅读次数：
151
区别于线性回归，不是把每个特征直接乘以系数，而是用一个S型函数（Logistic函数）。如下：
使用这种形式函数的原因（概率、求导）。
代价函数，也不是线性回归中的误差平方和，而是基于对数似然函数，如下：
单个样本的后验概率为：（y = 0， 1） 类似于二项分布的概率密度函数。
整个样本集的后验概率：
对数似然函数对于代价函数，如下：
梯度下降法...
分类：
编程语言 时间：
2015-03-05 10:52:23
阅读次数：
239
Logistic回归用来分类，线性回归用来回归。
线性回归是把让样本的属性前面加系数，相加。代价函数是误差平方和形式。所以，在最小化代价函数的时候，可以直接求导，令导数等于0，如下：
也可以使用梯度下降法，学习的梯度和Logistic回归形式一样。
线性回归的优点：计算简单。
缺点：不好处理非线性数据。...
分类：
编程语言 时间：
2015-03-05 10:48:54
阅读次数：
154
PartI起源：线性回归线性回归很常见，给你一堆点，作出一条直线，尽可能去拟合这些点。对于多维的数据，设特征为xi，设函数h（θ)=θ+θ1x1+θ2x2+.....为拟合的线性函数，其实就是内积，实际上就是y=Wx+b。那么如何确定这些θ参数（parament）才能保证拟合比较好呢？①确定目标函数...
分类：
其他好文 时间：
2015-02-17 23:34:21
阅读次数：
179
