假设有以下面积和房屋价格的数据集：可以在坐标中画出数据的情况：就是基于这样一个数据集，假定给出一个房屋的面积，如何预测出它的价格？很显然就是我们只需建立一个关于房屋面积的函数，输出就是房屋的价格。所以引出监督学习的概念：给定训练集X，学习出一个函数h:X→Y,使得函数h(x)能够较好地对于Y做出预测...
分类：
其他好文 时间：
2014-10-06 12:53:50
阅读次数：
229
由于最近在学习standford大学 Andrew Ng 大牛的机器学习视频，所以想对所学的方法做一个总结，后面所要讲到的算法主要是视频里面学到的机器学习领域常用的算法。在文中我们所要学的的算法主要有Linear Regression（线性回归），gradient descent（梯度下降法），n....
分类：
其他好文 时间：
2014-09-29 12:47:20
阅读次数：
254
由于最近在学习standford大学 Andrew Ng 大牛的机器学习视频，所以想对所学的方法做一个总结，后面所要讲到的算法主要是视频里面学到的机器学习领域常用的算法。在文中我们所要学的的算法主要有Linear Regression（线性回归），gradient descent（梯度下降法），no...
分类：
其他好文 时间：
2014-09-28 22:59:05
阅读次数：
234
分类回归树算法：CART(Classification And Regression Tree)算法采用一种二分递归分割的技术，将当前的样本集分为两个子样本集，使得生成的的每个非叶子节点都有两个分支。因此，CART算法生成的决策树是结构简洁的二叉树。
分类树两个基本思想：第一个是将训练样本进行递归地划分自变量空间进行建树的想法，第二个想法是用验证数据进行剪枝。
CART与C4.5的...
分类：
其他好文 时间：
2014-09-24 12:33:26
阅读次数：
230
This model generalizes logistic regression to classification problems where the class label y can take on more than two possible values. Softmax regre...
分类：
其他好文 时间：
2014-09-16 12:06:50
阅读次数：
891
二类分类器svm 的loss function 是 hinge loss：L(y)=max(0,1-t*y),t=+1 or -1,是标签属性. 对线性svm，y=w*x+b，其中w为权重，b为偏置项，在实际优化中，w,b是待优化的未知，通过优化损失函数，使得loss function最小，得到优化...
分类：
其他好文 时间：
2014-09-15 14:08:08
阅读次数：
229
要解决的问题是，给出了具有2个特征的一堆训练数据集，从该数据的分布可以看出它们并不是非常线性可分的，因此很有必要用更高阶的特征来模拟。例如本程序中个就用到了特征值的6次方来求解。DataTo begin, load the files 'ex5Logx.dat' and ex5Logy.dat' i...
分类：
其他好文 时间：
2014-09-13 11:50:55
阅读次数：
226
本节主要是练习regularization项的使用原则。因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象。因此在模型的损失函数中，需要对模型的参数进行“惩罚”，这样的话这些参数就不会太大，而越小的参数说明模型越简单，越简单的模型则越不容易产...
分类：
其他好文 时间：
2014-09-12 16:54:53
阅读次数：
206
在线性回归中，因为对參数个数选择的问题是在问题求解之前已经确定好的，因此參数的个数不能非常好的确定，假设參数个数过少可能拟合度不好，产生欠拟合(underfitting)问题，或者參数过多，使得函数过于复杂产生过拟合问题(overfitting)。因此本节介绍的局部线性回归(LWR)能够降低这种风险...
分类：
其他好文 时间：
2014-09-07 15:56:35
阅读次数：
368
机器学习(1)之梯度下降(gradient descent)题记:最近零碎的时间都在学习Andrew Ng的machine learning，因此就有了这些笔记。梯度下降是线性回归的一种(Linear Regression)，首先给出一个关于房屋的经典例子，面积(feet2)房间个数价格（1000$...
分类：
其他好文 时间：
2014-09-06 01:00:52
阅读次数：
260
