感知机是古老的统计学习方法，主要应用于二类线性可分数据，策略是在给定的超平面上对误差点进行纠正，从而保证所有的点都是正确可分的。用到的方法是随机梯度下降法，由于是线性可分的，可保证最终在有限步内收敛。具体可参考李航的《统计学习方法》#include#include#include#includeus...
分类：
编程语言 时间：
2015-03-17 23:16:25
阅读次数：
244
引言
接下里的一系列有关机器学习的博文，我将具体的介绍常用的算法，并且希望在这个过程中尽可能地结合实际应用更加深入的理解其精髓，希望所付出的努力能得到应有的回报。
接下来的有关机器学习基础博文主要根据机器学习技法课程的学习，围绕特征转换(feature transforms)这个主要工具，从以下三个方向进行探讨：
如果现在有很多特征转换可以使用的时候，我们该如何运用这些特征转换，...
分类：
其他好文 时间：
2015-03-08 17:20:15
阅读次数：
199
SVM1.概述?\Rightarrow brief introductionSVM全称Support_Vector_Machine,即支持向量机，是机器学习中的一种监督学习分类算法，一般用于二分类问题。对于线性可分的二分类问题，SVM可以直接求解，对于非线性可分问题，其也可以通过核函数将低维映射到高维空间从而转变为线性可分。对于多分类问题，SVM经过适当的转换，也能加以解决。相对于传统的分类算法如l...
分类：
其他好文 时间：
2015-03-05 00:26:34
阅读次数：
316
最大间隔分类器假设我们仍然使用线性模型来建模:$y(\mathbf{x})=\mathbf{w}^T\phi(\mathbf{x})+b$假设数据的标签为$\{-1, +1\}$, 我们根据分类器的输出$y(\mathbf{x})$的符号进行分类. 假设数据是线性可分的, 那么对于标签为1的样本, ...
分类：
其他好文 时间：
2015-02-01 00:28:53
阅读次数：
153
SVM（支持向量机）算法是一种典型的监督式学习算法。介绍SVM算法的思想和应用。...
分类：
编程语言 时间：
2015-01-28 22:38:17
阅读次数：
188
前言 支持向量机，也即SVM，号称分类算法，甚至机器学习界老大哥。其理论优美，发展相对完善，是非常受到推崇的算法。 本文将讲解的SVM基于一种最流行的实现 - 序列最小优化，也即SMO。 另外还将讲解将SVM扩展到非线性可分的数据集上的大致方法。预备术语 1. 分割超平面：就是决策边界 2...
分类：
其他好文 时间：
2014-12-31 16:11:28
阅读次数：
459
继续上一课最后的问题，当数据是非线性可分的时候需要把数据转化到 Z 空间（线性可分）才可以利用 SVM ，因此需要知道 Z 空间是什么。这节课解决了不用知道具体的 Z 空间就可以利用 SVM 进行分类。
最后，该课程介绍了如何因对过拟化的问题。思想跟十一课介绍的相同，就是设置一个限制条件。...
分类：
其他好文 时间：
2014-12-31 01:08:36
阅读次数：
191
支持向量机SVM是从线性可分情况下的最优分类面提出的。所谓最优分类，就是要求分类线不但能够将两类无错误的分开，而且两类之间的分类间隔最大，前者是保证经验风险最小（为0），而通过后面的讨论我们看到，使分类间隔最大实际上就是使得推广性中的置信范围最小。推广到高维空间，最优分类线就成为最优分类面。 支持向...
分类：
其他好文 时间：
2014-11-20 20:17:37
阅读次数：
234
生存？还是毁灭？——哈姆雷特可分？还是不可分？——支持向量机之前一直在讨论的线性分类器,器如其名（汗，这是什么说法啊），只能对线性可分的样本做处理。如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，永远也解不出来。这必然使得它的适用范围大大缩小，而它的很多优点我们实在不原意放弃，...
分类：
其他好文 时间：
2014-11-19 12:13:03
阅读次数：
273
不懂优化的人希望能有通用的方法来解决他手头的问题，但不幸的事没有这种方法存在，快速的方法都需要某些条件，比如常见的有强凸，线性，可分解啥的。目前研究的比较成熟的就是强凸光源可分解
非凸没有特别有效的方法来解，如果是强凸的，何必用那么复杂的方法求最优解？正是因为不是强凸的，才用到优化方法。就算是凸的，也分好几种不同的情况，只用一阶梯度，达到牛顿梯度法的收敛速度，在convex问题中，还有no...
分类：
编程语言 时间：
2014-11-18 14:50:00
阅读次数：
755
