《PRML》中Logistic回归（逻辑回归，LR）的推导...
分类：
其他好文 时间：
2014-11-12 21:16:56
阅读次数：
280
1：简单概念描写叙述如果如今有一些数据点，我们用一条直线对这些点进行拟合(改线称为最佳拟合直线)，这个拟合过程就称为回归。训练分类器就是为了寻找最佳拟合參数，使用的是最优化算法。基于sigmoid函数分类：logistic回归想要的函数可以接受全部的输入然后预測出类别。这个函数就是sigmoid函数...
分类：
其他好文 时间：
2014-11-02 16:28:04
阅读次数：
263
一、引言 本材料参考Andrew Ng大神的机器学习课程http://cs229.stanford.edu 在上一篇有监督学习回归模型中，我们利用训练集直接对条件概率p(y|x;θ)建模，例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模（其中g(z)是sigmoi.....
分类：
其他好文 时间：
2014-11-01 17:46:57
阅读次数：
202
机器学习实战中也详细描述了梯度上升算法，附件里是一些笔记，再贴一个还不错的帖子转http://blog.csdn.net/wyb_009/article/details/9205151这个算法搞得 我晚上十点打电话给弟弟，问Ln(x)，1/x的导数公式。很惭愧，大学时被我用的出神入化、化成灰我都能认...
分类：
编程语言 时间：
2014-10-24 10:24:57
阅读次数：
894
这是分类算法。之前的回归问题尝试预测的变量y是连续变量，在这个分类算法中，变量y是离散的，y只取{0,1}两个值。一般这种离散二值分类问题用线性回归效果不好。比如x3，y=1，那么当x>3的样本占得比例很大是，线性回归的直线斜率就会越来越小，y=0.5时对应的x判决点就会比3大，造成预测错误。若y取...
分类：
其他好文 时间：
2014-10-19 18:21:19
阅读次数：
179
在logistic方法中，g(z)会生成[0,1]之间的小数，但如何是g(z)只生成0或1？所以，感知器算法将g(z)定义如下：同样令，和logistic回归的梯度上升算法类似，学习规则如下：尽管看起来和之前的学习算法类似，但感知器算法是一种非常简便的学习算法，临界值和输出只能是0或1，是比logi...
分类：
编程语言 时间：
2014-10-19 18:19:15
阅读次数：
240
昨天学习完了Ng的第二课，总结如下：过拟合；欠拟合；参数学习算法；非参数学习算法局部加权回归KD tree最小二乘中心极限定律感知器算法sigmod函数梯度下降/梯度上升二元分类logistic回归
分类：
其他好文 时间：
2014-10-19 17:03:42
阅读次数：
302
本文主要讲解在matlab中实现Linear Regression和Logistic Regression的代码，并不涉及公式推导。具体的计算公式和推导，相关的机器学习文章和视频一大堆，推荐看Andrew NG的公开课。一、线性回归（Linear Regression）方法一、利用公式 :funct...
分类：
其他好文 时间：
2014-10-18 03:00:32
阅读次数：
357
回归： 在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等。训练集(training set)或者训练数据(traini...
分类：
其他好文 时间：
2014-10-16 00:42:01
阅读次数：
165
