原文地址：http://www.cnblogs.com/luxiaoxun/archive/2012/12/10/2811309.html 神经网络概念与适合领域 神经网络最早的研究是 40 年代心理学家 Mcculloch 和数学家 Pitts 合作提出的 ，他们提出的MP模型拉开了神经网络研究的 ...
分类：
其他好文 时间：
2016-12-03 17:55:35
阅读次数：
167
卷积神经网络是在BP神经网络的改进，与BP类似，都采用了前向传播计算输出值，反向传播调整权重和偏置；CNN与标准的BP最大的不同是：CNN中相邻层之间的神经单元并不是全连接，而是部分连接，也就是某个神经单元的感知区域来自于上层的部分神经单元，而不是像BP那样与所有的神经单元相连接。CNN的有三个重要 ...
分类：
其他好文 时间：
2016-12-01 01:56:07
阅读次数：
1765
在这篇文章中，会实现一个BP(backpropagation)算法，并将之应用到手写的阿拉伯数字(0-9)的自动识别上。 训练数据集(training set)如下：一共有5000个训练实例(training instance)，每个训练实例是一个400维特征的列向量(20*20 pixel ima ...
分类：
编程语言 时间：
2016-11-30 02:45:21
阅读次数：
799
Sigmoid函数 当神经元的输出接近 1时，曲线变得相当平，即σ′(z)的值会很小，进而也就使?C/?w和?C/?b会非常小。造成学习缓慢，下面有一个二次代价函数的cost变化图，epoch从15到50变化很小。 引入交叉熵代价函数 针对上述问题，希望对输出层选择一个不包含sigmoid的权值更新 ...
分类：
其他好文 时间：
2016-11-28 00:46:41
阅读次数：
550
在之前的随笔《非对称SVD电影推荐系统》中应用SVD，得到还不错的结果。 此次尝试将BP神经网络应用于预测用户评分，由于同类用户不同电影评分差异巨大，神经网络输出神经元不易设置。 仅取movie id=0 的用户作为测试数据(350 条记录），这样只需要5个输出神经元。考虑到movie id 共有三 ...
分类：
其他好文 时间：
2016-11-26 23:38:27
阅读次数：
225
单个神经元 神经网络是由多个“神经元”组成，单个神经元如下图所示： 这其实就是一个单层感知机，输入是由ξ1 ,ξ2 ,ξ3和Θ组成的向量。其中Θ为偏置(bias),σ为激活函数(transfer function)，本文采用的是sigmoid函数，功能与阶梯函数(step function)相似控制 ...
分类：
其他好文 时间：
2016-11-25 23:21:00
阅读次数：
367
理论上讲任何一个连续的非多项式、常数函数都可以做为BP的激活函数，而且这都是已经在数学上证明过的问题。 但sigmoid函数相对其他函数有它自身的优点，比如说光滑性，鲁棒性，以及在求导的时候可以用它自身的某种形式来表示 。 这一点在做数值试验的时候很重要，因为权值的反向传播，要求激活函数的导数 。 ...
分类：
其他好文 时间：
2016-11-24 14:05:02
阅读次数：
156
几个有助于加深对反向传播算法直观理解的网页，包括普通前向神经网络，卷积神经网络以及利用BP对一般性函数求导（UFLDL） A Visual Explanation of the Back Propagation Algorithm for Neural Networks By Sebastian R ...
分类：
其他好文 时间：
2016-11-19 12:24:44
阅读次数：
493
P1问题求解相关算法 1. BP 利用matlab的线性规划工具箱，即linprog 主要思想：如何将P1问题转换为线性规划问题 即由3.1变为3.2 令x=[u; v]，其中u,v均为正，a=u-v A=[] b=s 则b=Ax=(u-v)=a=s 求解：x0=linprog(c,[],[],A,... ...
分类：
编程语言 时间：
2016-11-14 11:57:40
阅读次数：
270
由于实验室事情缘故，需要将Python写的神经网络转成Java版本的，但是python中的numpy等啥包也不知道在Java里面对应的是什么工具，所以索性直接寻找一个现成可用的Java神经网络框架，于是就找到了JOONE，JOONE是一个神经网络的开源框架，使用的是BP算法进行迭代计算参数，使用起来 ...
分类：
编程语言 时间：
2016-11-11 17:20:57
阅读次数：
310
