要解决的问题是，给出了具有2个特征的一堆训练数据集，从该数据的分布可以看出它们并不是非常线性可分的，因此很有必要用更高阶的特征来模拟。例如本程序中个就用到了特征值的6次方来求解。DataTo begin, load the files 'ex5Logx.dat' and ex5Logy.dat' i...
分类：
其他好文 时间：
2014-09-13 11:50:55
阅读次数：
226
本节主要是练习regularization项的使用原则。因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象。因此在模型的损失函数中，需要对模型的参数进行“惩罚”，这样的话这些参数就不会太大，而越小的参数说明模型越简单，越简单的模型则越不容易产...
分类：
其他好文 时间：
2014-09-12 16:54:53
阅读次数：
206
机器学习(4)之Logistic回归1. 算法推导 与之前学过的梯度下降等不同，Logistic回归是一类分类问题，而前者是回归问题。回归问题中，尝试预测的变量y是连续的变量，而在分类问题中，y是一组离散的，比如y只能取{0,1}。 假设一组样本为这样如图所示，如果需要用线性回归来拟合这些样本...
分类：
其他好文 时间：
2014-09-11 23:45:12
阅读次数：
348
之前我们在求Logistic回归时，用的是梯度上升算法，也就是要使得似然函数最大化，利用梯度上升算法，不断的迭代。这节课引出牛顿方法，它的作用和梯度上升算法的一样的，不同的是牛顿方法所需的迭代次数更少，收敛速度更快。红色曲线是利用牛顿法迭代求解，绿色曲线是利用梯度下降法求解。牛顿法：wiki牛顿法（...
分类：
其他好文 时间：
2014-09-10 15:30:40
阅读次数：
317
在线性回归中，因为对參数个数选择的问题是在问题求解之前已经确定好的，因此參数的个数不能非常好的确定，假设參数个数过少可能拟合度不好，产生欠拟合(underfitting)问题，或者參数过多，使得函数过于复杂产生过拟合问题(overfitting)。因此本节介绍的局部线性回归(LWR)能够降低这种风险...
分类：
其他好文 时间：
2014-09-07 15:56:35
阅读次数：
368
机器学习(1)之梯度下降(gradient descent)题记:最近零碎的时间都在学习Andrew Ng的machine learning，因此就有了这些笔记。梯度下降是线性回归的一种(Linear Regression)，首先给出一个关于房屋的经典例子，面积(feet2)房间个数价格（1000$...
分类：
其他好文 时间：
2014-09-06 01:00:52
阅读次数：
260
机器学习问题分为分类和回归问题 回归问题，就是预测连续型数值，而不像分类问题，是预测离散的类别 至于这类问题为何称为回归regression，应该就是约定俗成，你也解释不通 比如为何logistic regression叫逻辑回归，明明解决的是分类问题，而且和逻辑没有半点关系 谈到回归，最简单的就是...
分类：
其他好文 时间：
2014-09-05 17:45:41
阅读次数：
361
这篇日志也确实是有感而发，我对R不熟悉，但实验需要，所以简单学了一下。发现无论是网上无数的教程，还是书本上的示例，在讲Logistic Regression的时候就是给一个简单的函数及输出结果说明。从来都没有讲清楚几件事情：
1. 怎样用训练数据训练模型，然后在测试数据上进行验证（测试数据和训练数据可能有重合）？
2. 怎样计算预测的效果，也就是计算Recall，Precision，F...
分类：
其他好文 时间：
2014-09-03 22:46:07
阅读次数：
939
线性回归与梯度下降算法作者：上品物语知识点：线性回归概念梯度下降算法 l 批量梯度下降算法 l 随机梯度下降算法 l 算法收敛判断方法1.1 线性回归在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行...
分类：
其他好文 时间：
2014-09-02 19:26:35
阅读次数：
655
印象笔记同步分享：Machine Learning—Classification and logistic regression...
分类：
其他好文 时间：
2014-09-01 19:41:34
阅读次数：
144
