目录：一、L0，L1范数二、L2范数三、核范数今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，...
分类：
其他好文 时间：
2014-05-09 11:29:41
阅读次数：
793
最近在搞论文，需要用梯度下降算法求解，所以重新整理分享在这里。主要包括梯度介绍、公式求导、学习速率选择、代码实现。
梯度下降的性质：
1.求得的解和选取的初始点有关
2.可以保证找到局部最优解，因为梯度最终会减小为0，即步长会自动越来越小。
梯度简介
一个多元函数的在某点的梯度方向是函数值在该点增长最快的方向，即方向导数取最大值的方向。
问题描述公式求导学习率选择
假...
分类：
其他好文 时间：
2014-05-07 07:05:49
阅读次数：
287
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景
上一节学习支持向量机，感觉公式都太难理解了，弄得我有点头大。不过这一章的Adaboost线比较起来就容易得多。Adaboost是用元算法的思想进行分类的。什么事元算法的思想呢？就是根据数据集的不同的特征在决定结果时所占的比重来划分数据集。就是要对每个特征值都构建决策树，并且赋予他们不同的...
分类：
编程语言 时间：
2014-05-07 06:48:25
阅读次数：
569
属于离散监督，是一个简单的分类算法工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。k-...
分类：
其他好文 时间：
2014-05-04 20:00:18
阅读次数：
388
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景知识
通过上一节我们通过引入拉格朗日乗子得到支持向量机变形公式。详细变法可以参考这位大神的博客——地址
参照拉格朗日公式F(x1,x2,...λ)=f(x1,x2,...)-λg(x1,x2...)。我们把上面的式子变型为：
约束条件就变成了：
...
分类：
编程语言 时间：
2014-05-04 18:14:34
阅读次数：
401
能够将热爱的技术应用于实际生活生产中，是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结，与大家一起分享、交流、进步。项目现在正在线上运行，项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰，爬取数据（txt文本）-->数据清洗-->文本模型训练-->文本分类-...
分类：
其他好文 时间：
2014-05-04 00:22:05
阅读次数：
476
第48期百度技术沙龙上的《大数据场景下主题检索应用》讲座介绍了很多训练大规模主题模型的技术细节。讲座回来后，我粗略整理了下讲座上涉及的主题模型和训练大规模模型相关的资料和文献。
1. 主题模型的发展历史
a. 布尔模型 Boolean model
b. 向量空间模型 VSM (Vector space model)
c. 潜在语义索引 LSI (Latent...
分类：
其他好文 时间：
2014-05-03 21:40:07
阅读次数：
371
上个月，参加了百度技术沙龙， 夏粉的《广告数据上的大规模机器学习》讲座介绍了大规模机器学习中的若干重要问题。遗憾的是，百度的相关算法没有公开的论文。
1. 数据处理
目标： 获取信息， 去除噪音
机器学习技术点： 选择对点击概率分布 预估足够多样本
解决方法： a. 不可见和不完整样本过滤; b. 样本采样; c. 异常样本检测
算法：a. 百度...
分类：
其他好文 时间：
2014-05-03 21:12:36
阅读次数：
378
