特征选择实质上包括两个部分：特征词的选择和特征词权重的计算。 特征词选择的方法分为有监督的方法和无监督的方法。 有监督的方法包括IG和CHI，无监督的方法包括Document Frequency (DF), Term Strength (TS)和 Entropy-based (En)。 可以参考ht ...
分类：
其他好文 时间：
2016-06-08 15:20:50
阅读次数：
1314
原文链接：http://m.blog.csdn.net/article/details?id=49591213 1. 前言 在学习深度学习的过程中，主要参考了四份资料： 台湾大学的机器学习技法公开课； Andrew NG的深度学习教程； Li feifei的CNN教程； caffe官网的教程； 对比 ...
分类：
其他好文 时间：
2016-06-03 17:20:57
阅读次数：
361
本系列文章都是关于UFLDL Tutorial的学习笔记Neural Networks
对于一个有监督的学习问题，训练样本输入形式为(x(i),y(i))。使用神经网络我们可以找到一个复杂的非线性的假设h(x(i))可以拟合我们的数据y(i)。我们先观察一个神经元的机制：
每个神经元是一个计算单元，输入为x1,x2,x3，输出为：
其中f()是激活函数，常用的激活函数是S函数：
S函数的形状如下，它...
分类：
Web程序 时间：
2016-06-02 14:26:24
阅读次数：
524
问题的引入： 考虑一个典型的有监督机器学习问题，给定m个训练样本S={x(i),y(i)}，通过经验风险最小化来得到一组权值w，则现在对于整个训练集待优化目标函数为： 其中为单个训练样本（x(i),y(i)）的损失函数，单个样本的损失表示如下： 引入L2正则，即在损失函数中引入，那么最终的损失为： ...
分类：
其他好文 时间：
2016-05-13 08:47:25
阅读次数：
207
原文：http://cos.name/2015/08/some-basic-ideas-and-methods-of-model-selection/ 作者：高涛 编辑：王小宁 0. 引言 有监督学习是日常使用最多的建模范式，它有许多更具体的名字，比如预测模型、回归模型、分类模型或者分类器。这些名字 ...
分类：
其他好文 时间：
2016-05-11 21:55:28
阅读次数：
1351
决策树是一种自顶向下的递归方法，其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶节点中的实例都属于一类。
决策树学习算法优点是，它可以自学习。在学习过程中，不需要使用者了解过多背景知识，只需要对实例进行较好的标注，就能够进行学习。决策树属于有监督学习。从一类无序、无规则的事物中推理决策树表示的分类规则。
决策树的建立...
分类：
编程语言 时间：
2016-05-06 16:00:12
阅读次数：
180
用官方的话来说，所谓K近邻算法(k-Nearest Neighbor，KNN)，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居）， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。这是一个有监督的学习算法 例如下图，红色和蓝色代 ...
分类：
编程语言 时间：
2016-04-27 18:32:54
阅读次数：
223
分类：分类的意义 传统意义下的分类：生物物种预测：天气预报决策：yes or no分类的传统模型分类（判别分析）与聚类有什么差别？有监督学习，无监督学习，半监督学习 常见分类模型与算法 线性判别法距离判别法贝叶斯分类器决策树支持向量机(SVM)神经网络 文本挖掘典型场景 网页自动分类垃圾邮件判断评论 ...
分类：
编程语言 时间：
2016-04-23 18:12:03
阅读次数：
221
在关键词抽取研究中，最常用的一种方法就是通过计算一篇文档中词语的TF-IDF值（term frequency-inverse document frequency）,并对它们进行排序选取TopK个作为关键词，这是一种无监督的方法。另外一种方法是通过有监督的方法，通过训练学习一个分类器，将关键词抽取问题转化为对每个词语的二分类问题，从而选择出合适的关键词。
无监督和有监督各有各...
分类：
其他好文 时间：
2016-04-16 19:19:32
阅读次数：
317
刚刚完成了Machine Learning第八周的课程，这一周主要介绍了K-means和降维，现将笔记整理在下面。Unsupervised LearningClusteringUnsupervised Learning: Introduction今天我们开始介绍无监督式学习（unsupervised learning）。下面两张图分别代表典型的有监督式学习和无监督式学习。一个典型的有监督式学习是从一...
分类：
系统相关 时间：
2016-04-09 20:42:47
阅读次数：
635
