Description 近日，谷歌研发的围棋AI—AlphaGo以4:1的比分战胜了曾经的世界冠军李世石，这是人工智能领域的又一里程碑。 与传统的搜索式AI不同，AlphaGo使用了最近十分流行的卷积神经网络模型。在卷积神经网络模型中，棋盘上每一 块特定大小的区域都被当做一个窗口。例如棋盘的大小为5 ...
分类：
其他好文 时间：
2016-06-11 18:40:48
阅读次数：
175
前面几章已经介绍了神经网络的结构、数据初始化、激活函数、损失函数等问题，现在我们该讨论如何让神经网络模型进行学习了。1 梯度检验权重的更新梯度是否正确决定着函数是否想着正确的方向迭代，在UFLDL中我们提到过，计算时梯度公式如果计算错误是不容被察觉的，我们需要比较分析法得到梯度与数值法得到的梯度是否相似，下面是一些技巧：1.1 centered formula高等数学中我们知道导数的近似公式：
d...
分类：
其他好文 时间：
2016-05-30 15:16:30
阅读次数：
354
第九章
前言
什么是卷积
神经网络里卷积的目的
什么是池化
卷积和池化的强先验
前言卷积网络也叫卷积神经网络（或者CNN），是一种特殊的深层的神经网络模型，它适合于时间序列数据的处理和图像数据处理。这章内容主要讨论内容：
什么是卷积
使用卷积的动机
什么是池化
用于实践中的神经网络的几个变化卷积函数
卷积如何应用于各种维度不同的数据
讨论一些如何使卷积神经更有效率
补充内容：卷积神经网络的特殊性体现...
分类：
其他好文 时间：
2016-05-30 14:45:31
阅读次数：
932
终于进入我们的主题了ConvNets或者CNNs，它的结构和普通神经网络都一样，之前我们学习的各种技巧方法都适用，其主要不同之处在于：
ConvNet假定输入的是图片，我们根据图片的特性对网络进行设定以达到提高效率，减少计算参数量的目的。
1. 结构总览
首先我们分析下传统神经网络对于图片的处理，如果还是用CIFAR-10上的图片，共3072个特征，如果普通网络结构输入那么第一层的每一个...
分类：
其他好文 时间：
2016-05-30 06:34:46
阅读次数：
388
本章将实现一个简单的两层神经网络，主要分两步走：
1. 实现线性分类器
2. 改变成神经网络1 生成数据我们先生成一个螺旋性的数据集，Python代码：N = 100 # number of points per class
D = 2 # dimensionality
K = 3 # number of classes
X = np.zeros((N*K,D)) # data matrix (...
分类：
Web程序 时间：
2016-05-29 06:26:49
阅读次数：
371
1 数据处理
首先注明我们要处理的数据是矩阵X，其shape为[N x D] (N =number of data, D =dimensionality).
1.1 Mean subtraction 去均值
去均值是一种常用的数据处理方式.它是将各个特征值减去其均值，几何上的展现是可以将数据的中心移到坐标原点，Python中的代码是 X -= np.mean(X, axis = 0). 对于...
分类：
其他好文 时间：
2016-05-28 06:41:22
阅读次数：
642
简介
神经网络中的神经元的灵感来源于人脑，人体中大约有860亿个神经元，大约有 10^14 - 10^15 突触（synapses）. 每个神经元由树突dendrites接收信号 轴突axon发射信号. 轴突又连接到其他神经单元 的树突.突触强度synaptic strengths (权重w) 可以经过学习控制输入信号的输出是抑制还是激活( excitory (positive weight)...
分类：
其他好文 时间：
2016-05-28 06:41:11
阅读次数：
1129
这个计划本来应该是周六写的。 我喜欢一星期的周六看作开始，而周五作为一周的结束。废话少说，直接进入主题： 现在存的问题： 1，C++的卷积神经网络还没有写完，如果写，如果想写完的话，以自己目前的水平，一天的时间也搞定不了。并且，程序里面的训练方法为最原始的梯度下降法，没有任何改进，如果想要修改，又要... ...
分类：
其他好文 时间：
2016-05-23 13:23:19
阅读次数：
152
在经典的模式识别中，一般是事先提取特征。提取诸多特征后，要对这些特征进行相关性分析，找到最能代表字符的特征，去掉对分类无关和自相关的特征。然而，这些特征的提取太过依赖人的经验和主观意识，提取到的特征的不同对分类性能影响很大，甚至提取的特征的顺序也会影响最后的分类性能。同时，图像预处理的好坏也会影响到提取的特征。那么，如何把特征提取这一过程作为一个自适应、自学习的过程，通过机器学习找到分类性能最优的特...
分类：
Web程序 时间：
2016-05-18 19:19:53
阅读次数：
347
