目录：一、L0，L1范数二、L2范数三、核范数今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，...
分类：
其他好文 时间：
2014-05-09 11:29:41
阅读次数：
793
数据仓库技术包括数据清理、数据集成和联机分析处理（OLAP）OLAP是一种分析技术，具有汇总，合并和聚集功能，以及从不同的角度观察信息的能力。但，对于深层次的分析，如数据分类，聚类和数据随时间变化的特征，仍然需要其他
分析工具。尽管市场上已有许多“数据挖掘系统”，但是并非所有的 都能进行真正的数据挖...
分类：
其他好文 时间：
2014-05-08 20:18:07
阅读次数：
323
今天是上课的第一天。真心很感激导师能让我出来学习。今天突然觉得自己要好好学习英语。并不是上课的时候我看不懂裴教授的课件。而是觉得如果英语不好就很像乡巴佬那样，很难接触到高级的东西。
通过今天的听讲，我感觉对数据挖掘的理解更深刻些。 以前总觉得自己研究生的目标是要好好学习算法，好好学习相关的技术。.....
分类：
其他好文 时间：
2014-05-07 20:16:08
阅读次数：
399
最近在搞论文，需要用梯度下降算法求解，所以重新整理分享在这里。主要包括梯度介绍、公式求导、学习速率选择、代码实现。
梯度下降的性质：
1.求得的解和选取的初始点有关
2.可以保证找到局部最优解，因为梯度最终会减小为0，即步长会自动越来越小。
梯度简介
一个多元函数的在某点的梯度方向是函数值在该点增长最快的方向，即方向导数取最大值的方向。
问题描述公式求导学习率选择
假...
分类：
其他好文 时间：
2014-05-07 07:05:49
阅读次数：
287
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景
上一节学习支持向量机，感觉公式都太难理解了，弄得我有点头大。不过这一章的Adaboost线比较起来就容易得多。Adaboost是用元算法的思想进行分类的。什么事元算法的思想呢？就是根据数据集的不同的特征在决定结果时所占的比重来划分数据集。就是要对每个特征值都构建决策树，并且赋予他们不同的...
分类：
编程语言 时间：
2014-05-07 06:48:25
阅读次数：
569
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景知识
前面我们提到的数据集都是线性可分的，这样我们可以用SMO等方法找到支持向量的集合。然而当我们遇到线性不可分的数据集时候，是不是svm就不起作用了呢？这里用到了一种方法叫做核函数，它将低维度的数据转换成高纬度的从而实现线性可分。
可能有的人不明白为什么低维度的数据集转换成高...
分类：
编程语言 时间：
2014-05-07 03:39:44
阅读次数：
455
Python是一种强大的语言，即可浅尝辄止，也可深入挖掘。很适合做科学计算、数据挖掘等等。今天我将简单介绍一下Python的装饰器（Decorators）的用法 。
假设我们想要庆祝下生日，需要邀请一些朋友过来参加。但是你有个讨厌的朋友，叫Joe,必须不能让他来啊。可能首先你想到的是建一个list,然后迭代查找并移除所有的Joe童鞋。这当然是个好方法，但是这里为了介绍装饰器，我们会用@来完成...
分类：
编程语言 时间：
2014-05-06 23:19:53
阅读次数：
371
最近有个数据挖掘的项目，要求在文本里面写入随机字母并且要1000W个于是就写了个程序用来造数据并记录一下程序写的时候遇到的问题1
未考虑内存溢出的情况，大批量的把数据写入导致内存溢出以后需要谨慎对待目前完整版package test;import java.io.File;import
java.i...
分类：
其他好文 时间：
2014-05-05 11:40:16
阅读次数：
333
属于离散监督，是一个简单的分类算法工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。k-...
分类：
其他好文 时间：
2014-05-04 20:00:18
阅读次数：
388
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景知识
通过上一节我们通过引入拉格朗日乗子得到支持向量机变形公式。详细变法可以参考这位大神的博客——地址
参照拉格朗日公式F(x1,x2,...λ)=f(x1,x2,...)-λg(x1,x2...)。我们把上面的式子变型为：
约束条件就变成了：
...
分类：
编程语言 时间：
2014-05-04 18:14:34
阅读次数：
401
