目录：一、L0，L1范数二、L2范数三、核范数今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，...
分类：
其他好文 时间：
2014-05-09 11:29:41
阅读次数：
793
以下内容主要基于《Latent Dirichlet
Allocation》,JMLR-2003一文，另加入了一些自己的理解,刚开始了解，有不对的还请各位指正。LDA-Latent Dirichlet
AllocationJMLR-2003摘要：本文讨论的LDA是对于离散数据集，如文本集，的一种生成式...
分类：
其他好文 时间：
2014-05-08 13:28:29
阅读次数：
909
最近在搞论文，需要用梯度下降算法求解，所以重新整理分享在这里。主要包括梯度介绍、公式求导、学习速率选择、代码实现。
梯度下降的性质：
1.求得的解和选取的初始点有关
2.可以保证找到局部最优解，因为梯度最终会减小为0，即步长会自动越来越小。
梯度简介
一个多元函数的在某点的梯度方向是函数值在该点增长最快的方向，即方向导数取最大值的方向。
问题描述公式求导学习率选择
假...
分类：
其他好文 时间：
2014-05-07 07:05:49
阅读次数：
287
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景
上一节学习支持向量机，感觉公式都太难理解了，弄得我有点头大。不过这一章的Adaboost线比较起来就容易得多。Adaboost是用元算法的思想进行分类的。什么事元算法的思想呢？就是根据数据集的不同的特征在决定结果时所占的比重来划分数据集。就是要对每个特征值都构建决策树，并且赋予他们不同的...
分类：
编程语言 时间：
2014-05-07 06:48:25
阅读次数：
569
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景知识
前面我们提到的数据集都是线性可分的，这样我们可以用SMO等方法找到支持向量的集合。然而当我们遇到线性不可分的数据集时候，是不是svm就不起作用了呢？这里用到了一种方法叫做核函数，它将低维度的数据转换成高纬度的从而实现线性可分。
可能有的人不明白为什么低维度的数据集转换成高...
分类：
编程语言 时间：
2014-05-07 03:39:44
阅读次数：
455
How do you know what machine learning algorithm to
choose for your classification problem? Of course, if you really care about
accuracy, your best bet...
分类：
其他好文 时间：
2014-05-07 00:50:14
阅读次数：
438
简单的以下面曲线拟合例子来讲：直线拟合后，相比原来的点偏差最大，最后一个图完全拟合了数据点偏差最小；但是拿第一个直线模型去预测未知数据，可能会相比最后一个模型更准确，因为最后一个模型过拟合了，即第一个模型的方差比最后一个模型小。一般而言高偏差意味着欠拟合，高方差意味着过拟合。他们之间有如下的关系：
...
分类：
其他好文 时间：
2014-05-07 00:28:40
阅读次数：
946
属于离散监督，是一个简单的分类算法工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。k-...
分类：
其他好文 时间：
2014-05-04 20:00:18
阅读次数：
388
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景知识
通过上一节我们通过引入拉格朗日乗子得到支持向量机变形公式。详细变法可以参考这位大神的博客——地址
参照拉格朗日公式F(x1,x2,...λ)=f(x1,x2,...)-λg(x1,x2...)。我们把上面的式子变型为：
约束条件就变成了：
...
分类：
编程语言 时间：
2014-05-04 18:14:34
阅读次数：
401
上个月，参加了百度技术沙龙， 夏粉的《广告数据上的大规模机器学习》讲座介绍了大规模机器学习中的若干重要问题。遗憾的是，百度的相关算法没有公开的论文。
1. 数据处理
目标： 获取信息， 去除噪音
机器学习技术点： 选择对点击概率分布 预估足够多样本
解决方法： a. 不可见和不完整样本过滤; b. 样本采样; c. 异常样本检测
算法：a. 百度...
分类：
其他好文 时间：
2014-05-03 21:12:36
阅读次数：
378
