DNN,CNN,RNN:1.DNN:深度神经网络，或称多层感知机。解决早期单层感知机对于复杂函数不能模拟的情况。其形式为层之间全连接。实用sig等连续性函数模拟神经对机理的响应，训练算法使用 BP。 2.问题：只是名义上的深层。 a：随着层数的加深，优化函数更加容易陷入局部最优解。并且会越来越偏离 ...
分类：
其他好文 时间：
2017-03-24 15:45:13
阅读次数：
128
如果感觉自己看不懂，那就看看我博客的梯度下降法，博文最后的感知机也算最简单的BP神经网络吧，用的也是反馈(w,b)：典型梯度下降法 BP网络的结构 BP网络的结构如下图所示，分为输入层(Input)，隐含层（Hidden），输出层(Output)。 输入层的结点个数取决于输入的特征个数。 输出层的结 ...
分类：
其他好文 时间：
2017-03-06 20:30:19
阅读次数：
176
感知机是一种线性分类模型，属于判别模型 f(x) = sign(wx+b) ; f(x)∈{+1,-1}; 其中M为错分类点的集合M。 感知机学习算法是误分类驱动的，采用随机梯度下降法进行参数更新。 w< w + γyixi b< b + γyi γ为学习率，反复迭代直到所有样本均分类正确。 总结： ...
分类：
编程语言 时间：
2017-02-19 11:09:43
阅读次数：
213
0. 训练数据集：Iris dataset (鸢尾花数据集)，获取网址https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data 如下图所示，鸢尾花数据集中每行数据前四列为特征值分别是花瓣长/宽、花萼长/宽，鸢尾花 ...
分类：
其他好文 时间：
2017-01-09 23:33:54
阅读次数：
424
第2章 感知机 感知机是二类分类的线性分类模型，其输入为实例的特征向量，感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法分为原始形式和对偶形式，是神经网络和支持向量机的基础。 ...
分类：
其他好文 时间：
2017-01-07 22:32:59
阅读次数：
305
1. 概述 前面我们已经介绍了最早的神经网络：感知机。感知机一个非常致命的缺点是由于它的线性结构，其只能做线性预测（甚至无法解决回归问题），这也是其在当时广为诟病的一个点。 虽然感知机无法解决非线性问题，但是其给非线性问题的解决提供了一个思路。感知机的局限来自于其线性结构，如果我们能够给其加入非线性 ...
分类：
移动开发 时间：
2016-12-15 17:49:12
阅读次数：
182
前提 这系列文章不是为了去研究那些数学公式怎么推导，而是为了能将机器学习的思想快速用代码实现。最主要是梳理一下自己的想法。 感知机 感知机，就是接受每个感知元（神经元）传输过来的数据，当数据到达某个阀值的时候就会产生对应的行为如下图，对应每个感知元有一个对应的权重，当数据到达阀值u的时候就会执行对应 ...
分类：
其他好文 时间：
2016-12-03 20:34:33
阅读次数：
337
最早的感知机：Perceptron of Rosenblatt ...
分类：
Web程序 时间：
2016-12-03 01:51:03
阅读次数：
535
案例银行办信用卡--获得感知机 我们到银行办信用卡时，银行并不是直接就给你办卡的，而是会根据你的一些个人信息、消费信息、个人信誉等指标综合考虑后，才会决定是否给你办卡（不像现在银行办信用卡有点随意）。 银行要考虑的指标比如age,salary,year in job,current debt等我们称 ...
分类：
其他好文 时间：
2016-11-27 13:44:01
阅读次数：
118
单个神经元 神经网络是由多个“神经元”组成，单个神经元如下图所示： 这其实就是一个单层感知机，输入是由ξ1 ,ξ2 ,ξ3和Θ组成的向量。其中Θ为偏置(bias),σ为激活函数(transfer function)，本文采用的是sigmoid函数，功能与阶梯函数(step function)相似控制 ...
分类：
其他好文 时间：
2016-11-25 23:21:00
阅读次数：
367
