原题：线性判别分析仅在线性可分数据上能获得理想结果，试设计一个改进方法，使其能够用于非线性可分数据。 这里我采用二次判别分析来对原来的西瓜数据集进行分类，同样采用sklearn里的二次判别库。 二次判别分析结果和线性判别分析结果分别如下： 可以看到对于线性不可分数据，二次判别分析的效果非常好。 ...
分类：
其他好文 时间：
2016-06-28 20:17:39
阅读次数：
407
《神经网络与机器学习》第4章前半段笔记以及其他地方看到的东西的混杂…第2、3章的内容比较古老预算先跳过。
不得不说幸亏反向传播的部分是《神机》里边人话比较多的部分，看的时候没有消化不良。多层感知机书里前三章的模型的局限都很明显，对于非线性可分问题苦手，甚至简单的异或都弄不了。于是多层感知机（也就是传说中的神经网络）就被发明了出来对付这个问题。多层感知机就是由一系列的感知机，或者说神经元组成，每个神...
分类：
编程语言 时间：
2016-06-12 02:54:37
阅读次数：
339
台大林轩田·机器学习基石记要昨天开始看林轩田的机器学习基石，从今天起开始去粗取精
本文在差不多是随堂笔记，可读性不好。。第一讲比较基础，一些概念自己早已经理解了，所以不再做笔记，有点印象的是讲到了ML、DL、AI的一些联系与区别，ML主要是想从数据中学习/逼近一个理想的函数f(x)第二讲讲到了PLA，感知器学习算法，并且证明了线性可分时感知器收敛定理（与Haykin的Neural Networks...
分类：
其他好文 时间：
2016-06-02 13:54:14
阅读次数：
1817
这篇文章主要是分析感知器和SVM处理分类问题的原理，不涉及求解 感知器： 感知器要解决的是这样的一个二分类问题：给定了一个线性可分的数据集，我们需要找到一个超平面，将该数据集分开。这个超平面的描述如下： $w*x+b=0$ 而感知器的决策函数是： $f(x)=sign(w*x+b)$ 其中 $z=w ...
分类：
其他好文 时间：
2016-05-31 22:13:44
阅读次数：
191
文章结构 一、引言 二、 二分类 线性可分 2）处理数据中的outliers 3）非线性可分，核函数 4）SVM的另一种解释Hinge Loss 三、多分类 1. Introduction 支持向量机（Support Vector Machine，SVM）是定义在特征空间中的最大间隔线性分类器，对于 ...
分类：
其他好文 时间：
2016-05-29 18:03:35
阅读次数：
127
引言：当两类样本线性可分时，针对我们之前学习的感知机而言，存在多个超平面能将数据分开，这里要讨论什么样的分类面最好的问题。为此，我们形式化的定义了最优分类超平面，他有两点特征:1.能将训练样本没有错误的分开；2.在样本中距离超平面最近的样本与超平面之间的距离最大。 1.没有错误的分开： 对尺度影响的 ...
分类：
其他好文 时间：
2016-05-20 11:18:36
阅读次数：
151
一、线性分类器： 首先给出一个非常非常简单的分类问题（线性可分），我们要用一条直线，将下图中黑色的点和白色的点分开，很显然，图上的这条直线就是我们要求的直线之一（可以有无数条这样的直线） 假如说，我们令黑色的点 = -1， 白色的点 = +1，直线f(x) = w.x + b，这儿的x、w是向量，其 ...
分类：
其他好文 时间：
2016-05-16 10:59:28
阅读次数：
210
七月算法-12月机器学习在线班--第十二次课笔记—支持向量机（SVM） 七月算法（julyedu.com）12月机器学习在线班学习笔记http://www.julyedu.com 复习的内容： 对偶问题 KKT条件 SVM 1.1三类数据类型 线性可分支持向量机 线性支持向量机 非线性支持向量机 1... ...
分类：
编程语言 时间：
2016-05-13 14:39:09
阅读次数：
155
P.S. SVM比较复杂，代码没有研究清楚，进一步学习其他知识后再来补充。以下仅罗列了最核心的知识，来自《机器学习实战》的学习摘要。优点：泛化错误率低，计算开销不大，结果易解释。缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。适用数据类型：数值型和标称型数据。线性可分数据... ...
分类：
系统相关 时间：
2016-05-11 10:53:20
阅读次数：
705
支持向量机是一个二类分类模型，但也可以扩展为多类分类。其基于间隔最大化和核技巧的特点可以使它可以灵活处理线性或非线性分类问题。
支持向量机可是形式化为一个凸二次规划问题，学习算法是求解基于凸二次规划的最优化算法。
按照训练数据是否线性可分，支持向量机可以分为基于硬间隔的线性可分支持向量机、基于软间隔的线性支持向量机、基于核技巧和软间隔最大化的非线性支持向量机。三者复杂性是依次增加的。
1、基于...
分类：
其他好文 时间：
2016-03-26 07:16:56
阅读次数：
477
