由于实验室事情缘故，需要将Python写的神经网络转成Java版本的，但是python中的numpy等啥包也不知道在Java里面对应的是什么工具，所以索性直接寻找一个现成可用的Java神经网络框架，于是就找到了JOONE，JOONE是一个神经网络的开源框架，使用的是BP算法进行迭代计算参数，使用起来比较方便也比较实用，下面介绍一下JOONE的一些使用方法。
JOONE需要使用一些外...
分类：
编程语言 时间：
2016-05-07 10:15:49
阅读次数：
582
这是一篇学习UFLDL反向传导算法的笔记，按自己的思路捋了一遍，有不对的地方请大家指点。首先说明一下神经网络的符号：
1. nln_l 表示神经网络的层数。
2. sls_l 表示第 ll 层神经元个数，不包含偏置单元。
3. z(l)iz_i^{(l)} 表示第 ll 层第 ii 个神经元的输入；a(l)ia_i^{(l)} 表示第 ll 层第 ii 个神经元的输出。
4. W(l)ijW...
分类：
编程语言 时间：
2016-05-06 15:21:22
阅读次数：
274
神经网络之BP算法，梯度检验，参数随机初始化
neural network(BackPropagation algorithm,gradient checking,random initialization)
一、代价函数(cost function)
对于训练集，代价函数（cost
function）定义为：
其中红色方框圈起的部分为正则项，k：输出单...
分类：
Web程序 时间：
2016-04-17 22:38:33
阅读次数：
240
一、激活函数： 1.硬极限函数：用于分类 2.线性函数：用于函数逼近 3.饱和线性函数：分类 4.Sigmoidal函数：S函数，是连续可微的，权值可用BP算法调节 5.高斯函数 二。学习规则： 1.Hebb规则 2.离散感知器学习规则 3.δ学习规则 4.Widrow—Hoff学习规则 三、神经网 ...
分类：
其他好文 时间：
2016-04-11 14:24:44
阅读次数：
107
BP算法很难调试，一般情况下会隐隐存在一些小问题，比如（off-by-one error），即只有部分曾德权重得到训练，或者忘记计算bais unit，这虽然会得到一个正确的结果，但效果差于准确BP得到的结果。 有了cost function，目标是求出一组参数W，b，这里以表示，cost func
分类：
Web程序 时间：
2016-03-20 11:37:20
阅读次数：
135
office组件中的viso是一款十分强大的画图工具，在绘制流程图、结构框图时显得十分方便，这里将我自己绘制的一些viso图（大部分都是用在我自己的论文中的）与大家分享一把。 1、深度学习训练流程图 这个框图表示深度学习训练的基本流程，这里面是以基于bp算法的卷积神经网络为例的。 2、LeNet-5
分类：
其他好文 时间：
2016-03-01 22:35:03
阅读次数：
585
这一章可能是Andrew Ng讲得最不清楚的一章，为什么这么说呢？这一章主要讲后向传播(Backpropagration, BP)算法，Ng花了一大半的时间在讲如何计算误差项$\delta$，如何计算$\Delta$的矩阵，以及如何用Matlab去实现后向传播，然而最关键的问题——为什么要这么计算？...
分类：
Web程序 时间：
2015-12-27 23:13:30
阅读次数：
296
在上一篇中，我们看到了神经网络是怎样使用梯度下降算法来学习它们的权值和偏置。然而，我们还有一些没有解释：我们没有讨论怎样计算损失函数的梯度。本篇中将解释著名的BP算法，它是一个快速计算梯度的算法。反向传播算法（Backpropagation algorithm,BP）是在1970s提出的，但是它的重...
分类：
其他好文 时间：
2015-12-06 17:44:00
阅读次数：
707
CNN公式推导1 前言 在看此blog之前，请确保已经看懂我的前两篇blog【深度学习笔记1(卷积神经网络)】和【BP算法与公式推导】。并且已经看过文献[1]的论文【Notes on Convolutional Neural Networks】。因为本文就是讲解文献[1]论文前部分公式的推导过程。2...
分类：
其他好文 时间：
2015-10-10 20:02:59
阅读次数：
436
CNN公式推导1 前言 在看此blog之前，请确保已经看懂我的前两篇blog【深度学习笔记1(卷积神经网络)】和【BP算法与公式推导】。并且已经看过文献[1]的论文【Notes on Convolutional Neural Networks】。因为本文就是讲解文献[1]论文前部分公式的推导过程。2...
分类：
其他好文 时间：
2015-10-09 13:50:26
阅读次数：
245
