PCA：PCA的具有2个功能,一是维数约简（可以加快算法的训练速度，减小内存消耗等），一是数据的可视化。PCA并不是线性回归，因为线性回归是保证得到的函数是y值方面误差最小，而PCA是保证得到的函数到所降的维度上的误差最小。另外线性回归是通过x值来预测y值，而PCA中是将所有的x样本都同等对待。在使...
分类：
其他好文 时间：
2014-09-14 16:32:07
阅读次数：
192
前面介绍线性回归，但实际中，用线性回归去拟合整个数据集是不太现实的，现实中的数据往往不是全局线性的 当然前面也介绍了局部加权线性回归，这种方法有些局限 这里介绍另外一种思路，树回归 基本思路，用决策树将数据集划分成若干个子集，然后再子集上再用线性回归进行拟合 决策树是种贪心算法，最简单典型的决策树算...
分类：
其他好文 时间：
2014-09-12 18:41:13
阅读次数：
350
机器学习(4)之Logistic回归1. 算法推导 与之前学过的梯度下降等不同，Logistic回归是一类分类问题，而前者是回归问题。回归问题中，尝试预测的变量y是连续的变量，而在分类问题中，y是一组离散的，比如y只能取{0,1}。 假设一组样本为这样如图所示，如果需要用线性回归来拟合这些样本...
分类：
其他好文 时间：
2014-09-11 23:45:12
阅读次数：
348
http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex2/ex2.html本题给出的是50个数据样本点，其中x为这50个小朋友到的年龄，年龄为2岁到8岁，年龄...
分类：
其他好文 时间：
2014-09-11 17:12:22
阅读次数：
334
机器学习(2)之线性回归上一章介绍了梯度下降算法的线性回归，本章将介绍另外一种线性回归，它是利用矩阵求导的方式来实现梯度下降算法一样的效果。1. 矩阵的求导首先定义表示m×n的矩阵，那么对该矩阵进行求导可以用下式表示，可以看出求导后的矩阵仍然为m×n这里要用到矩阵迹的特性，trace. 对于一个n阶...
分类：
其他好文 时间：
2014-09-09 11:49:28
阅读次数：
182
在线性回归中，因为对參数个数选择的问题是在问题求解之前已经确定好的，因此參数的个数不能非常好的确定，假设參数个数过少可能拟合度不好，产生欠拟合(underfitting)问题，或者參数过多，使得函数过于复杂产生过拟合问题(overfitting)。因此本节介绍的局部线性回归(LWR)能够降低这种风险...
分类：
其他好文 时间：
2014-09-07 15:56:35
阅读次数：
368
机器学习(1)之梯度下降(gradient descent)题记:最近零碎的时间都在学习Andrew Ng的machine learning，因此就有了这些笔记。梯度下降是线性回归的一种(Linear Regression)，首先给出一个关于房屋的经典例子，面积(feet2)房间个数价格（1000$...
分类：
其他好文 时间：
2014-09-06 01:00:52
阅读次数：
260
线性回归与梯度下降算法作者：上品物语知识点：线性回归概念梯度下降算法 l 批量梯度下降算法 l 随机梯度下降算法 l 算法收敛判断方法1.1 线性回归在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行...
分类：
其他好文 时间：
2014-09-02 19:26:35
阅读次数：
655
当影响Y值的因素不唯一时，我们可以使用多元线性回归模型：...
分类：
其他好文 时间：
2014-09-02 01:35:34
阅读次数：
189
这一课时主要是讲述了线性模型的一些处理。
包括：
1、输入数据的表示（Input Representation）
2、线性分类（Linear Classification）
3、线性回归（Linear Regression）
4、非线性模型转换（Nonlinear Transformation）
作者认为，如果要测试某个模型的可用性，做好就是用真实数据。
为了讲解线...
分类：
其他好文 时间：
2014-08-29 22:42:38
阅读次数：
366
