前言：最近学习深度学习，有感写一点总结。
我们常常所说的神经网络，一般是指原始的多层感知机，简称MLP，它是在原始感知机堆叠多层而成的，MLP完全由全连接层组成（当然也有激活函数），即Caffe里的IP层。MLP的最大的缺点在于参数众多，比如说我们的网络层为1000--1000--500--20，那么它的总的参数为：1000*1000+1000*500+500*20. 参数过多不好训练，...
分类：
其他好文 时间：
2014-12-04 06:27:32
阅读次数：
295
感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1. 感知机模型 感知机模型如下：f(x)= sig.....
分类：
其他好文 时间：
2014-11-15 20:14:01
阅读次数：
345
感知机（Perceptron）是二类分类的线性分类模型。感知机以一个实数值向量作为输入，计算这些输入的线性组合，如果结果大于某个阈值就输出+1，否则输出-1。下面就从模型，策略和算法三方面来说说这个模型，最后会推导一下算法的收敛性。模型感知机模型为：$\Large h(\mathbf{x}) = \...
分类：
其他好文 时间：
2014-11-11 20:31:58
阅读次数：
176
统计学习方法（一）——统计学习方法概论统计学习方法（二）——感知机统计学习方法（三）——K近邻法统计学习方法（四）——朴素贝叶斯法统计学习方法（五）——决策树
分类：
其他好文 时间：
2014-11-06 19:40:06
阅读次数：
163
机器学习算法 原理、实践与实战 —— 感知机感知机（perceptron）是二分类的线性分类模型，输入为特征向量，输出为实例的类别，取值+1和-1。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，引入了基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。1. 感知机...
分类：
其他好文 时间：
2014-11-03 14:26:40
阅读次数：
270
这几天在看《统计学习方法》这本书，发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用，所以就特别查了些资料。 一.介绍 梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。二.应用...
分类：
其他好文 时间：
2014-10-30 20:54:29
阅读次数：
895
脉冲神经网络Spiking neuralnetworks (SNNs)是第三代神经网络模型，其模拟神经元更加接近实际，除此之外，把时间信息的影响也考虑其中。思路是这样的，动态神经网络中的神经元不是在每一次迭代传播中都被激活（而在典型的多层感知机网络中却是），而是在它的膜电位达到某一个特定值才被激活。当一个神经元被激活，它会产生一个信号传递给其他神经元，提高或降低其膜电位。...
分类：
Web程序 时间：
2014-10-16 17:31:53
阅读次数：
833
线性分类器(一定意义上,也可以叫做感知机)是最简单也很有效的分类器形式.在一个线性分类器中,可以看到SVM形成的思路,并接触很多SVM的核心概念.用一个二维空间里仅有两类样本的分类问题来举个小例子。如图所示C1和C2是要区分的两个类别，在二维平面中它们的样本如上图所示。中间..
分类：
其他好文 时间：
2014-10-01 00:50:50
阅读次数：
317
第二章 感知机感觉感知机这东西还是很简单的，随便写点。感知机（perceptron）是二分类的线性分类器。输入x表示实例的特征向量，输出y为实例的类别，由如下函数表示： 其中w为权值（weight）或权值向量（weight vector），b表示偏置（bias），sign为符号函数，里面的东西大于....
分类：
其他好文 时间：
2014-08-27 20:21:48
阅读次数：
241
《自己动手写神经网络》书的目的是帮助我们普通人一步一步创建属于自己的神经网络，帮助我们了解什么是神经元、什么是感知机，还能帮助我们了解如何让机器（或程序）提高它们的认知能力！对智能设备的发展有巨大的推动意义！...
分类：
其他好文 时间：
2014-08-21 17:12:24
阅读次数：
395
