L0：是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话，就是希望W的大部分元素都是0，即让参数W是稀疏的L1：实现稀疏（选择重要特征，结果容易解释）,即适用于特征选择L2：防止过拟合，可以让优化求解变得稳定和快速L1会趋向于产生少量的特征，而其他的特征都是0，而L2会选择更多...
分类：
其他好文 时间：
2015-07-11 21:19:56
阅读次数：
430
一、特征规约/降维：去掉可分性不强和冗余的特征 特征选择：去掉可分性不强的特征 特征抽取/变换：去掉多余的特征，即抽取出来的特征不存在线性or非线性关系 =========================================================================...
分类：
其他好文 时间：
2015-07-10 11:04:11
阅读次数：
95
关联分析、噪声、高维性数据挖掘不是信息检索数据库中知识发现KDD：输入数据->数据预处理(特征选择、维归约、规范化、选择数据子集)->数据挖掘->后处理(模式过滤、可视化、模式表示)->信息数据预处理阶段，涉及融合多个数据源的数据、清洗数据、去噪和重复的观测值..
分类：
其他好文 时间：
2015-07-07 13:16:33
阅读次数：
239
特征选择，我对这一部分也不熟，大概讲一下，用AttributeSelection进行特征选择，它需要设置3个方面，第一：对属性评价的类（自己到Weka软件里看一下，英文Attribute Evaluator），第二：搜索的方式（自己到Weka软件里看一下，英文Search Method），第三：就是...
分类：
其他好文 时间：
2015-07-03 17:21:40
阅读次数：
209
决策树模型呈现树状结构，可以认为是一组if-then规则的集合。在决策树当中，内部接节点是属性或者特征，叶子节点是一个类。一、三个阶段决策树的学习分为了三个方面：特征选择、决策树的生成、决策树的剪枝pruning二、详细解释决策树的学习本质上是从训练集当中总结归纳出一组分类规则。这一组分类规则应该应...
分类：
其他好文 时间：
2015-06-28 14:09:15
阅读次数：
90
看过这篇博客的都应该明白，特征选择代码实现应该包括3个部分：搜索算法；评估函数；数据；因此，代码的一般形式为：AttributeSelection attsel = new AttributeSelection(); // create and initiate a new AttributeSel...
分类：
系统相关 时间：
2015-06-18 16:43:04
阅读次数：
260
正如我前面提到的，了开方检验（CHI）以外，信息增益（IG，Information Gain）也是非常有效的特征选择方法。但凡是特征选择，总是在将特征的重要程度量化之后再进行选择，而怎样量化特征的重要性，就成了各种方法间最大的不同。开方检验中使用特征与类别间的关联性来进行这个量化。关联性越强。特征得...
分类：
其他好文 时间：
2015-06-16 14:18:10
阅读次数：
142
问题：如果IR在该文件中，我们已经建立-词项矩阵。有两个词条目“learn”和“study”。在传统的向量空间模型，两个独立的感觉。从语义的角度来讲，两者是相似的。并且两者出现频率也类似。是不是能够合成为一个特征呢？ 《模型选择和规则化》谈到的特征选择的问题，就是要剔除的特征主要是和类标签无关的特征...
分类：
其他好文 时间：
2015-06-11 19:12:11
阅读次数：
123
特征选取是机器学习领域非常重要的一个方向。主要有两个功能：（1）减少特征数量、降维，使模型泛化能力更强，减少过拟合（2）增强度特征和特征值之间的理解几种常用的特征选取方法一、去掉取值变化小的特征考察某个特征下，样本的方差值，可以人为给定一个阈值，抛开那些小于这个阈值的特征。二、单变量特征选择单变量特...
分类：
编程语言 时间：
2015-06-11 18:49:59
阅读次数：
256
我们为什么需要信息增益比，而不是信息增益？ 决策树是机器学习中的经典算法，分别由三个经典算法实现：ID3，C4.5，CART，这三个算法最明显的区别就是对于特征选择的策略不同.对于ID3和C4.5的信息增益和信息增益比有什么区别呢，为什么放着信息增益不用，又要计算一个ratio呢？这就是下面的内容要讨论的。...
分类：
其他好文 时间：
2015-06-10 01:09:59
阅读次数：
393
