本系列内容大部分来自Standford公开课machine learning中Andrew老师的讲解，附加自己的一些理解，编程实现和学习笔记。第一章 Logistic regression1.逻辑回归逻辑回归是一种监督学习的分类算法，相比较之前的线性回归算法，差别在于它是一个分类算法，这也意味着y不...
分类：
其他好文 时间：
2015-04-12 11:56:50
阅读次数：
225
Given an array of integers, every element appearstwiceexcept for one. Find that single one.Notice:Your algorithm should have a linear runtime complexi...
分类：
其他好文 时间：
2015-04-10 19:42:33
阅读次数：
118
再谈多项式回归，本节再次提及多项式回归分析，理解过拟合现象，并深入cross-validation(交叉验证),regularization(正则化)框架，来避免产生过拟合现象，从更加深入的角度探讨理论基础以及基于R如何将理想照进现实。...
分类：
编程语言 时间：
2015-04-10 18:10:29
阅读次数：
354
Sparse Autoencoder Recap:Because we used a sigmoid activation function for f(z(3)), we needed to constrain or scale the inputs to be in the range [0,1], since the sigmoid function outputs numbers in th...
分类：
其他好文 时间：
2015-04-10 18:02:06
阅读次数：
345
转载请注明出处: http://xiahouzuoxin.github.io/notes/课程计划Linear Regression与预测问题Locally Weighted Linear RegressionLogistic Regression与分类问题Stanford机器学习课程的主页是： http://cs229.stanford.edu/课程计划主讲人Andrew Ng是机器学习界的大牛...
分类：
其他好文 时间：
2015-04-09 15:38:07
阅读次数：
271
这篇文章将介绍过拟合和欠拟合的概念，并且介绍局部加权回归算法。过拟合和欠拟合之前在线性回归中，我们总是将单独的x作为我们的特征，但其实我们可以考虑将，甚至x的更高次作为我们的特征，那么我们通过线性回归得到的就将是一个多次函数了。我们可以想象当我们只用x作为我们的特征的时候，我们的数据可能实际呈现的样...
分类：
其他好文 时间：
2015-04-08 21:08:58
阅读次数：
236
Shooting算法是Wenjiang提出的一种优化Lasso(L1 Regularization)和Bridge Regression的算法, 本文以Lasso为例.对于线性回归问题$\mathbb{y}=X\mathbb{\beta}+\epsilon$, 普通最小二乘法(OLS, ordina...
分类：
其他好文 时间：
2015-04-06 15:39:06
阅读次数：
175
前面两篇回归（一）（二）复习了线性回归，以及L1与L2正则——lasso和ridge regression。特别描述了lasso的稀疏性是如何产生的。在本篇中介绍一下和lasso可以产生差不多效果的两种方法：stagewise和LARS...
分类：
其他好文 时间：
2015-04-06 14:15:37
阅读次数：
3088
Given an array of integers, every element appears three times except for one. Find that single one.Note:
Your algorithm should have a linear runtime complexity. Could you implement it without using ex...
分类：
其他好文 时间：
2015-04-05 14:42:18
阅读次数：
138
这是UFLDL的编程练习。Weight decay（Softmax 回归有一个不寻常的特点：它有一个“冗余”的参数集）后的cost function和梯度函数：
cost function：J(θ)=?1m??∑i=1m∑j=1k1{y(i)=j}logeθTjx(i)∑kl=1eθTlx(i)??+λ2∑i=1k∑j=0nθ2ij\begin{align}
J(\theta) = - \frac{...
分类：
其他好文 时间：
2015-04-04 16:47:26
阅读次数：
402
