BP算法： 1.是一种有监督学习算法，常被用来训练多层感知机。 2.要求每个人工神经元（即节点）所使用的激励函数必须可微。 （激励函数：单个神经元的输入与输出之间的函数关系叫做激励函数。） （假如不使用激励函数，神经网络中的每层都只是做简单的线性变换，多层输入叠加后也还是线性变换。因为线性模型的表达 ...
分类：
编程语言 时间：
2017-04-16 12:16:13
阅读次数：
352
一，感知机模型 1，超平面的定义 令w1，w2，...wn，v都是实数(R) ，其中至少有一个wi不为零，由所有满足线性方程w1*x1+w2*x2+...+wn*xn=v 的点X=[x1,x2,...xn]组成的集合，称为空间R的超平面。 从定义可以看出：超平面就是点的集合。集合中的某一点X，与向量 ...
分类：
其他好文 时间：
2017-04-15 20:03:36
阅读次数：
265
注：在吴恩达老师讲的【机器学习】课程中，最开始介绍神经网络的应用时就介绍了含有一个隐藏层的神经网络可以解决异或问题，而这是单层神经网络（也叫感知机）做不到了，当时就觉得非常神奇，之后就一直打算自己实现一下，一直到一周前才开始动手实现。自己参考【机器学习】课程中数字识别的作业题写了代码，对于作业题中给 ...
分类：
其他好文 时间：
2017-04-15 13:55:19
阅读次数：
645
假设训练数据线性可分，那么感知机模型如下： f(x)=ω?χ+b这个超平面可以用来分割平面 不考虑系数，那么感知机的损失函数就可以定义为 ...
分类：
其他好文 时间：
2017-04-08 19:02:10
阅读次数：
140
1. 感知机学习模型 感知机是一个二分类的线性分类问题，求解是使误分类点到超平面距离总和的损失函数最小化问题。采用的是随机梯度下降法，首先任意选取一个超平面w0和b0，然后用梯度下降法不断地极小化目标损失函数，极小化过程中不是一次使所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。假 ...
分类：
其他好文 时间：
2017-04-07 23:42:03
阅读次数：
400
常见的机器学习模型：感知机，线性回归，逻辑回归，支持向量机，决策树，随机森林，GBDT，XGBoost，贝叶斯，KNN，K-means等； 常见的机器学习理论：过拟合问题，交叉验证问题，模型选择问题，模型融合问题等； K近邻：算法采用测量不同特征值之间的距离的方法进行分类。 优点： 1.简单好用，容 ...
分类：
其他好文 时间：
2017-04-07 15:52:23
阅读次数：
356
感知机可以说是最古老的分类方法之一了，在1957年就已经提出。今天看来它的分类模型在大多数时候泛化能力不强，但是它的原理却值得好好研究。因为研究透了感知机模型，学习支持向量机的话会降低不少难度。同时如果研究透了感知机模型，再学习神经网络，深度学习，也是一个很好的起点。这里对感知机的原理做一个小结。 ...
分类：
其他好文 时间：
2017-04-05 22:07:33
阅读次数：
272
https://blog.dbrgn.ch/2013/3/26/perceptrons-in-python/ 目前，我在HSR上参加了一个神经网络和机器学习的课程，其中学习到一个最简单的神经网络模型，...
分类：
编程语言 时间：
2017-04-04 22:19:19
阅读次数：
363
感知机此处不介绍，这里只是简单的做了一个使用感知机思路，训练一个y=a+b计算模型. 运行结果： ...
分类：
其他好文 时间：
2017-03-31 23:23:04
阅读次数：
236
通常说的SVM与逻辑回归的联系一般指的是软间隔的SVM与逻辑回归之间的关系，硬间隔的SVM应该是与感知机模型的区别和联系。而且工程中也不能要求所有的点都正确分类，训练数据中噪声的存在使得完全正确分类很可能造成过拟合。 软间隔SVM与逻辑回归的联系 要说软间隔SVM与联系就要看软间隔SVM的缘由。 软 ...
分类：
其他好文 时间：
2017-03-31 18:08:49
阅读次数：
255
