这个系列是为了应对找工作面试时面试官问的算法问题，所以只是也谢算法的简要介绍，后期会陆续补充关于此
算法的常见面问题。
一、Logistic回归
先说下logistic回归，它是根据现有数据对分类边界建立回归公式，以此进行分类。其计算代价不高，易于实现与理解，但是容易欠拟合、分类精度不太高；
logistic回归可以看成是一种概率估计，使用的的是sigmioid函数，...
分类：
编程语言 时间：
2015-08-26 12:04:29
阅读次数：
286
继上一篇基本最小二乘法和带部分空间约束的最小二乘法，它们要么易过拟合，要么不易求解，下面介绍 l2约束的最小二乘法，又叫正则化最小二乘法，岭回归。
一个模型的复杂程度与系数有关，最简单的模型是直接给所有系数赋值为0，则该模型总会预测出0值，模型虽然足够简单，但是没有意义，因为它不能有效预测。
定义模型的复杂度为：
由于我们的目的是使模型不要过于复杂，所以让上述值小是有意义的，因此新的目标...
分类：
其他好文 时间：
2015-07-06 12:25:59
阅读次数：
2146
1.题目分别使用岭回归和Lasso解决薛毅书第279页(PDF为p331)例6.10的回归问题
2.准备2.1.准备安装和加载包使用到R语言的函数和对应包
函数
功能
包 lm.ridge
提供岭回归函数
ridge
linearRidge
自动进行岭参数选择,Cule(2012)
MASS
lars
提供最小角回归、lasso等回归模型
lars
说...
分类：
编程语言 时间：
2015-06-29 10:15:40
阅读次数：
2086
课程3课程3
大纲
多元线性回归的最小二乘解
1几何解释
2广义逆的奇异性
3无偏估计
岭回归
1几何意义
2岭回归的性质
3的选择原则
4用岭回归选择变量
5岭回归存在的问题
6通过R演练
LASSO
1LASSO vs 岭回归
11弹性网
2求解过程LAR算法
1.大纲
扔给你一堆数据，可能有成百上千各变量,怎样变量选择，怎样排除多重共线性问题：
要么丰厚的业务知识丰富，根据经验来选择；
要么...
分类：
其他好文 时间：
2015-06-26 11:05:23
阅读次数：
231
那几年，我学习机器学习的主要内容：
1.机器学习基本导论，机器学习入门了解；
2.线性回归与Logistic。xx业绩预测系统，智能交互统计系统等；
3.岭回归，Lasso，变量选择技术。维度的技巧等技术；
4.降维技术。xx指标设计，具体规范；
5.线性分类器，Knn算法，朴素贝叶斯分类器，文本挖掘。XX智能垃圾消息，垃圾邮件判断，评论智能分析，智能监控统计预警系统呀。
6.决策树，组合提升算...
分类：
其他好文 时间：
2015-03-20 14:27:55
阅读次数：
168
1分别使用岭回归和Lasso解决薛毅书第279页例6.10的回归问题例6.10的问题如下：输入例题中的数据，生成数据集,并做简单线性回归，查看效果cement<-data.frame(X1=c(7,1,11,11,7,11,3,1,2,21,1,11,10),X2=c(26,29,56,31,52,55,71,31,54,47,40,66,68),X3=c(6,15,8,8,6,9,17,22,..
分类：
其他好文 时间：
2014-10-10 16:41:54
阅读次数：
33313
L2范数 除了L1范数，还有一种更受宠幸的规则化范数是L2范数: ||W||2。它也不逊于L1范数，它有两个美称，在回归里面，有人把有它的回归叫“岭回归”（Ridge Regression），有人也叫它“权值衰减weight decay”。这用的很多吧，因为它的强大功效是改善机器学习里面一个非常.....
分类：
其他好文 时间：
2014-08-27 12:46:08
阅读次数：
377
