隐藏单元：节点的输出在网络内部输出单元：节点的输出是整个网络的输出（PS：输出单元一般有多个，最终系统采取的决策是所有输出单元中最“合理”的）输入单元：节点的输入是整个网络的输入，节点的输出是隐藏单元的输入（带权重）感知器感知器的训练法则：感知器法则（线性可分）：wi=wi+?(t-o)xi；注意此...
分类：
其他好文 时间：
2015-08-17 00:41:02
阅读次数：
160
本节续上节机器学习之logistic回归与分类对logistic分类的线性与非线性进行实验。上节中的“种子”分类实例中，样本虽然有7维，但是很大很大程度上符合线性可分的，为了在说明上节中的那种logistic对于非线性不可分，进行如下的两组样本进行实验，一组线性，一组非线性，样本如下：
线性样本：
非线性样本：
为了防止完全可分，在1,2类样本的分界面上重叠一部分样本，也就是说这部分样本很...
分类：
其他好文 时间：
2015-08-09 12:44:36
阅读次数：
111
初次是根据“支持向量机通俗导论（理解SVM的三层境界）”对SVM有了简单的了解。总的来说其主要的思想可以概括为以下两点（也是别人的总结）1、SVM是对二分类问题在线性可分的情况下提出的，当样本线性不可分时，它通过非线性的映射算法，将在低维空间线性不可分的样本映射到高维的特征空间使其线性可分，从而使得...
分类：
其他好文 时间：
2015-08-09 12:12:03
阅读次数：
1331
一、感知器算法和LMS算法 感知器和自适应线性元件在历史上几乎是同时提出的，并且两者在对权值的调整的算法非常相似。它们都是基于纠错学习规则的学习算法。 感知器算法存在如下问题：不能推广到一般的前向网络中；函数不是线性可分时，得不出任何结果。 而由美国斯坦福大学的Widrow和Hoff在研究自适...
分类：
编程语言 时间：
2015-08-03 18:41:35
阅读次数：
125
从上一课可知，对于给定的线性可分的数据集，离分隔超平面最近的点是支持向量。而支持向量与分隔超平面间的距离越远，则说明最后算法的预测结果越可信。这课的核心就在于如何确定最佳的分隔超平面，即最优间隔分类器。
首先我们要介绍其中的数学推理，然后介绍最优间隔分类器。
1、凸优化问题
选取一个函数里的两个点，连接两个点成一条直线，两点间的函数点都在这条直线下即为凸函数，凸函数的例子有指数函数。...
分类：
其他好文 时间：
2015-07-24 20:58:31
阅读次数：
165
参考NB：高效、易实现；性能不一定高LR：对数据的假设少，适应性强，可用于在线学习；要求线性可分决策树：易解释，对数据线性与否无关；易过拟合，不支持在线RF：快速并且可扩展，参数少；可能过拟合SVM:高准确率、可处理非线性可分数据（可处理高维数据）；内存消耗大，难于解释，运行和调参麻烦
分类：
编程语言 时间：
2015-07-24 20:21:23
阅读次数：
136
什么是感知机二分类的线性分类模型，输入是实例的特征向量，输出是实例的类别，取-1和+1两值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机是神经网络和支持向量机的基础。模型的使用条件数据集需要是线性可分的，同时，如果数据集是线性可分的话，经过一定的迭代次数一...
分类：
其他好文 时间：
2015-07-14 17:13:43
阅读次数：
91
假设正类样本远多于负类1、线性可分的情况假设真实数据集如下：由于负类样本量太少，可能会出现下面这种情况使得分隔超平面偏向负类。2、线性不可分的情况源数据以及理想的超平面情况如下：很可能由于负类样本太少出现以下这种情况，严重偏向负类
分类：
其他好文 时间：
2015-07-11 12:10:00
阅读次数：
116
SVM是用来解决非线性分类问题的。PART I 引入首先我们假设样本线性可分【稍后我们还会去掉这个假设】我们把之前logistic回归里面吗定义的那一坨稍微修改一下：令g(z)=1 (z>=0) or -1 (z=0由上式和约束条件可以得出：【证明：设存在w'使得gi(w')>0，那么就可以取...
分类：
其他好文 时间：
2015-07-05 16:27:41
阅读次数：
195
题:如果资料D线性可分，PLA如何保证最后能得到最优解。 思路：假设$w_f$能够分割资料D，$w_{t+1}$经过更新$w_{t+1}=w_t + y_{n(t)}x_{n(t)}$后，与$w_f$更接近 两个向量更接近，则有$Z=\frac{w_f^Tw_t}{||w_f||||w_t||}$越...
分类：
其他好文 时间：
2015-06-28 16:55:05
阅读次数：
166
