1.题目分别使用岭回归和Lasso解决薛毅书第279页(PDF为p331)例6.10的回归问题
2.准备2.1.准备安装和加载包使用到R语言的函数和对应包
函数
功能
包 lm.ridge
提供岭回归函数
ridge
linearRidge
自动进行岭参数选择,Cule(2012)
MASS
lars
提供最小角回归、lasso等回归模型
lars
说...
分类：
编程语言 时间：
2015-06-29 10:15:40
阅读次数：
2086
课程3课程3
大纲
多元线性回归的最小二乘解
1几何解释
2广义逆的奇异性
3无偏估计
岭回归
1几何意义
2岭回归的性质
3的选择原则
4用岭回归选择变量
5岭回归存在的问题
6通过R演练
LASSO
1LASSO vs 岭回归
11弹性网
2求解过程LAR算法
1.大纲
扔给你一堆数据，可能有成百上千各变量,怎样变量选择，怎样排除多重共线性问题：
要么丰厚的业务知识丰富，根据经验来选择；
要么...
分类：
其他好文 时间：
2015-06-26 11:05:23
阅读次数：
231
Shooting算法是Wenjiang提出的一种优化Lasso(L1 Regularization)和Bridge Regression的算法, 本文以Lasso为例.对于线性回归问题$\mathbb{y}=X\mathbb{\beta}+\epsilon$, 普通最小二乘法(OLS, ordina...
分类：
其他好文 时间：
2015-04-06 15:39:06
阅读次数：
175
前面两篇回归（一）（二）复习了线性回归，以及L1与L2正则——lasso和ridge regression。特别描述了lasso的稀疏性是如何产生的。在本篇中介绍一下和lasso可以产生差不多效果的两种方法：stagewise和LARS...
分类：
其他好文 时间：
2015-04-06 14:15:37
阅读次数：
3088
那几年，我学习机器学习的主要内容：
1.机器学习基本导论，机器学习入门了解；
2.线性回归与Logistic。xx业绩预测系统，智能交互统计系统等；
3.岭回归，Lasso，变量选择技术。维度的技巧等技术；
4.降维技术。xx指标设计，具体规范；
5.线性分类器，Knn算法，朴素贝叶斯分类器，文本挖掘。XX智能垃圾消息，垃圾邮件判断，评论智能分析，智能监控统计预警系统呀。
6.决策树，组合提升算...
分类：
其他好文 时间：
2015-03-20 14:27:55
阅读次数：
168
本篇内容讲述回归问题中最常用的ridge regression与Lasso，同时深入浅出地探讨稀疏约束，正则，分析了Lasso稀疏的原因。...
分类：
其他好文 时间：
2015-03-20 00:04:57
阅读次数：
322
开一个机器学习方法科普系列，也做基础回顾之用。学而时习之。
content:
linear regression, Ridge, Lasso
Logistic Regression, Softmax
Kmeans, GMM, EM, Spectral Clustering
......
分类：
其他好文 时间：
2015-03-07 01:04:29
阅读次数：
231
Si-Bao Chen, Chris Ding, Bin Luo and Ying Xie. Uncorrelated Lasso. AAAI, 2013.第一作者是安徽大学陈思宝副教授。第二作者 Chris Ding 是德克萨斯大学阿灵顿分校的教授，Google Scholar 上他引超过 157...
分类：
其他好文 时间：
2015-01-26 11:39:02
阅读次数：
294
今天看了一篇 ECML 14 的文章（如题），记录一下。原文链接：http://link.springer.com/chapter/10.1007/978-3-662-44848-9_38这篇文章提出了一个显式考虑 x 与 y 之间的相关性的 lasso 算法。方法很简单，就是用 μj=(1 - |...
分类：
其他好文 时间：
2015-01-20 11:43:56
阅读次数：
308
MLlib支持二分类，多酚类和回归分析的多种方法，具体如下：问题类别 支持方法二分类线性支持向量机， 逻辑回归，决策树，朴素贝叶斯多分类决策树，朴素贝叶斯回归线性最小二乘，Lasso，ridge regression， 决策树线性模型二分类（支持向量机， 逻辑回归）线性回归（最小二乘，Lasso，....
分类：
其他好文 时间：
2015-01-13 15:39:08
阅读次数：
469
