欠拟合与过拟合概念本次课程大纲：1、局部加权回归：线性回归的变化版本2、概率解释：另一种可能的对于线性回归的解释3、Logistic回归：基于2的一个分类算法4、感知器算法：对于3的延伸，简要讲复习：–第i个训练样本令，以参数向量为条件，对于输入x，输出为：n为特征数量定义成本函数J，定义为：m为训...
分类：
其他好文 时间：
2015-04-11 14:49:45
阅读次数：
193
再谈多项式回归，本节再次提及多项式回归分析，理解过拟合现象，并深入cross-validation(交叉验证),regularization(正则化)框架，来避免产生过拟合现象，从更加深入的角度探讨理论基础以及基于R如何将理想照进现实。...
分类：
编程语言 时间：
2015-04-10 18:10:29
阅读次数：
354
转载请注明出处: http://xiahouzuoxin.github.io/notes/课程计划Linear Regression与预测问题Locally Weighted Linear RegressionLogistic Regression与分类问题Stanford机器学习课程的主页是： http://cs229.stanford.edu/课程计划主讲人Andrew Ng是机器学习界的大牛...
分类：
其他好文 时间：
2015-04-09 15:38:07
阅读次数：
271
这篇文章将介绍过拟合和欠拟合的概念，并且介绍局部加权回归算法。过拟合和欠拟合之前在线性回归中，我们总是将单独的x作为我们的特征，但其实我们可以考虑将，甚至x的更高次作为我们的特征，那么我们通过线性回归得到的就将是一个多次函数了。我们可以想象当我们只用x作为我们的特征的时候，我们的数据可能实际呈现的样...
分类：
其他好文 时间：
2015-04-08 21:08:58
阅读次数：
236
Shooting算法是Wenjiang提出的一种优化Lasso(L1 Regularization)和Bridge Regression的算法, 本文以Lasso为例.对于线性回归问题$\mathbb{y}=X\mathbb{\beta}+\epsilon$, 普通最小二乘法(OLS, ordina...
分类：
其他好文 时间：
2015-04-06 15:39:06
阅读次数：
175
前面两篇回归（一）（二）复习了线性回归，以及L1与L2正则——lasso和ridge regression。特别描述了lasso的稀疏性是如何产生的。在本篇中介绍一下和lasso可以产生差不多效果的两种方法：stagewise和LARS...
分类：
其他好文 时间：
2015-04-06 14:15:37
阅读次数：
3088
1、logistic回归是统计学习中的经典分类方法。
最大熵模型：最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。
两者都是对数线性模型。
2、二项logstic分类模型：用于二类分布。
多项logstic分类模型：用于多类分布。
3、最大熵模型（maximum entropy model）:是由最大熵原理推导实现。
...
分类：
其他好文 时间：
2015-04-05 09:14:27
阅读次数：
346
这是UFLDL的编程练习。Weight decay（Softmax 回归有一个不寻常的特点：它有一个“冗余”的参数集）后的cost function和梯度函数：
cost function：J(θ)=?1m??∑i=1m∑j=1k1{y(i)=j}logeθTjx(i)∑kl=1eθTlx(i)??+λ2∑i=1k∑j=0nθ2ij\begin{align}
J(\theta) = - \frac{...
分类：
其他好文 时间：
2015-04-04 16:47:26
阅读次数：
402
1、在Config.pm中有这样一个参数$nClass = 32; # number of regression classes就是回归类的数量，我如果调整这个参数，像康世胤调整HMM状态数一样，会不会得到好的结果2、这个需要做个实验，验证一下。
分类：
其他好文 时间：
2015-04-02 22:18:02
阅读次数：
146
在Mahout实现的机器学习算法见下表算法类算法名中文名分类算法Logistic Regression逻辑回归Bayesian贝叶斯SVM支持向量机Perceptron感知器算法Neural Network神经网络Random Forests随机森林Restricted Boltzmann Mach...
分类：
编程语言 时间：
2015-04-02 01:16:53
阅读次数：
178
