已经花了好多时间看支持向量机了，就是一直没开始写，网再渣，我也要开始总结了 支持向量机(SVM) 一种二类分类模型。基本模型是定义在特征空间上的间隔最大的线性分类器，学习策略就是间隔最大化，最终是求解凸二次规划的最优化算法。 包含线性可分支持向量机、线性支持向量机、非线性支持向量机。...
分类：
其他好文 时间：
2015-06-23 20:01:48
阅读次数：
215
一、集成学习方法的思想
前面介绍了一系列的算法，每个算法有不同的适用范围，例如有处理线性可分问题的，有处理线性不可分问题。在现实世界的生活中，常常会因为“集体智慧”使得问题被很容易解决，那么问题来了，在机器学习问题中，对于一个复杂的任务来说，能否将很多的机器学习算法组合在一起，这样计算出来的结果会不会比使用单一的算法性能更好？这样的思路就是集成学习方法。
集成学习方法是指组合多...
分类：
编程语言 时间：
2015-06-16 13:07:53
阅读次数：
173
作业方面，暂时只关注需要编程的题目了，用python完成代码。Q15~Q17应用的是传统PLA算法，给定的数据集也是保证线性可分的。代码需要完成的就是实现一个简单的PLA，并且“W = W + speed*yX”中的speed是可以配置的（即学习速率）代码1#encoding=utf8import ...
分类：
其他好文 时间：
2015-06-15 18:05:24
阅读次数：
387
优化的边界分类器
上一讲里我们介绍了函数边界和几何边界的概念，给定一组训练样本，如果能够找到一条决策边界，能够使得几何边界尽可能地大，这将使分类器可以很可靠地预测训练样本，特别地，这可以让分类器用一个“间隔”将正负样本分开。
现在，我们假设给定的一组训练样本是线性可分的，即有可能找到这样一条分界面，将正负样本分开。如何找到这样一个分界面可以使得几何边界最大？我们将这个优化问题用如下的表达式给出...
分类：
系统相关 时间：
2015-06-05 15:52:27
阅读次数：
242
实验介绍一般来说，线性可分的训练数据的分界超平面往往并不唯一，但不同的超平面对于测试的识别效果却仍有差别。SVM是通过使超平面在每一个方向上与每一类各自最近的店距离相同从而达到最优线性分类效果。除此之外，SVM在求解超平面的过程中，还能够通过构造核函数使得非线性可分的数据变得线性可分。在用SVM法构...
分类：
其他好文 时间：
2015-05-26 22:55:59
阅读次数：
475
SVM1.概述SVM全称Support_Vector_Machine,即支持向量机，是机器学习中的一种监督学习分类算法，一般用于二分类问题。对于线性可分的二分类问题，SVM可以直接求解，对于非线性可分问题，其也可以通过核函数将低维映射到高维空间从而转变为线性可分。对于多分类问题，SVM经过适当的转换，也能加以解决。相对于传统的分类算法如logistic回归，k近邻法，决策树，感知机，高斯判别分析法(...
分类：
其他好文 时间：
2015-05-25 10:12:27
阅读次数：
183
前面两篇总结了线性支持向量机模型，总体来说，就是在样本输入空间下对每个维度进行线性组合之后使用符号函数判别最终的类别。第一个是理想情况下的线性可分SVM，这是第二个的近似线性可分SVM的基础。而且也是一种递进关系，是为了从数学抽象化的理想模型到现实情形的一种推广，但它们终究是一种线性模型，对于更复杂的现实情形有时候依然会难以描述，需要使用非线性模型去描述。非线性SVM由于现实问题的复杂性，导致训练的...
分类：
其他好文 时间：
2015-05-17 23:36:18
阅读次数：
163
上一篇总结了对于训练数据集线性可分的理想情况下，使用硬间隔最大化训练得到分类超平面的SVM方法，这种方法在实际应用中并不实用，因为实际的训练数据总是会存在人为或不可控的因素干扰产生各种噪声，因此是无法在特征空间下找到线性可分的超平面的，但是噪声总是有限的，可以对硬间隔这个限制进行放松，引入一个松弛变量来控制分类超平面的训练，从而可以对近似可以线性可分的实际应用数据进行学习和预测。从这里也可以很明显...
分类：
其他好文 时间：
2015-05-16 00:14:46
阅读次数：
328
Rosenblatt感知器
感知器是用于线性可分模式（模式分别位于超平面两边）分类的最简单的神经网络模型，基本上由一个具有可调突触权值和偏置的神经元组成。
Rosenblatt证明了当用来训练感知器的模式（向量）取自两个线性可分的类时，感知器算法是收敛的，并且决策面是位于两类之间的超平面。算法的收敛性称为感知器收敛定理。...
分类：
其他好文 时间：
2015-05-01 10:41:28
阅读次数：
242
1.引言一个多层感知机（Multi-Layer Perceptron，MLP）可以看做是，在逻辑回归分类器的中间加了非线性转换的隐层，这种转换把数据映射到一个线性可分的空间。一个单隐层的MLP就可以达到全局最优。2.模型一个单隐层的MLP可以表示如下：一个隐层的MLP是一个函数：$f:R^{D}\r...
分类：
其他好文 时间：
2015-04-26 12:20:05
阅读次数：
261
