在word2vec原理中讲到如果每个词向量由300个元素组成，并且一个单词表中包含了10000个单词。回想神经网络中有两个权重矩阵——一个在隐藏层，一个在输出层。这两层都具有300 x 10000 = 3,000,000个权重！使用梯度下降法在这种巨大的神经网络下面进行训练是很慢的。并且可能更糟糕的 ...
分类：
其他好文 时间：
2019-07-21 22:33:34
阅读次数：
523
神经网络及其实现 神经网络的表示 最小的神经网络 两层神经网络 在下图的表示中将参数b放到了中，每一层增加了一个值为1的隐藏单元 X为输入变量 为权重矩阵（所要计算的参数） 为隐藏层变量 g为激活函数 反向传播算法 下面我们从一个简单的例子入手考虑如何从数学上计算代价函数的梯度，考虑如下简单的神经网... ...
分类：
其他好文 时间：
2018-10-26 22:24:09
阅读次数：
329
神经网络的BP推导过程 下面我们从一个简单的例子入手考虑如何从数学上计算代价函数的梯度，考虑如下简单的神经网络，该神经网络有三层神经元，对应的两个权重矩阵,为了计算梯度我们只需要计算两个偏导数即可： 首先计算第二个权重矩阵的偏导数，即 首先需要在之间建立联系，很容易可以看到的值取决于,而,而又是由取... ...
分类：
其他好文 时间：
2018-10-26 22:10:22
阅读次数：
367
L1和L2正则化项，又叫做惩罚项，是为了限制模型的参数，防止模型过你和而加在损失函数后面的一项。 L1是模型的各个参数的绝对值之和 L2是模型各个参数的平方和的开方值 区别： 从图形上理解：应为最优的参数值很大概率出现在坐标轴上，这样就导致某一维的权重为0，产生稀疏权重矩阵。 从贝叶斯的角度理解：加 ...
分类：
其他好文 时间：
2018-10-02 20:33:11
阅读次数：
266
小书匠 Graph 图论 学过线性代数的都了解矩阵,在矩阵上的文章可做的很多,什么特征矩阵,单位矩阵等.grpah存储可以使用矩阵,比如graph的邻接矩阵,权重矩阵等,这节主要是在等到graph后,如何快速得到这些信息.详细官方文档在这里目录:12.graph和其他数据格式转换12.1graph与... ...
分类：
Web程序 时间：
2018-06-28 22:49:27
阅读次数：
384
小书匠 Graph 图论 学过线性代数的都了解矩阵,在矩阵上的文章可做的很多,什么特征矩阵,单位矩阵等.grpah存储可以使用矩阵,比如graph的邻接矩阵,权重矩阵等,这节主要是在等到graph后,如何快速得到这些信息.详细官方文档在这里目录:10线性代数相关10.1图矩阵注意:如果代码出现找不库... ...
分类：
Web程序 时间：
2018-06-20 22:42:18
阅读次数：
318
（1）感知器模型 感知器模型包含多个输入节点：X0-Xn，权重矩阵W0-Wn（其中X0和W0代表的偏置因子，一般X0=1，图中X0处应该是Xn）一个输出节点O，激活函数是sign函数。 （2）感知器学习规则 输入训练样本X和初始权重向量W，将其进行向量的点乘，然后将点乘求和的结果作用于激活函数sig ...
分类：
编程语言 时间：
2018-05-27 19:37:22
阅读次数：
322
分别是16个5*5的一通道的卷积核，以及16个偏移量。A2是转置一下，为了输出每一个卷积核，TensorFlow保存张量方法和人的理解有很大区别，A21 A31 A41 A51都是卷积核的权重矩阵偏移量 ———————————————————————————————————————————————— ...
分类：
其他好文 时间：
2018-05-22 15:10:27
阅读次数：
3445
Sparse Interactions, Receptive Field and Parameter Sharing是整个CNN深度网络的核心部分，我们用本文来具体分析其原理。 首先我们考虑Feedforward Neural Network，L层的输出矩阵，等于L层的输入矩阵与L层的权重矩阵做矩阵 ...
分类：
Web程序 时间：
2018-05-04 21:57:45
阅读次数：
375
GeoDa计算全局Moran‘I 1、导入包含数据的.shp文件 2、创建权重矩阵，点击Weight Manger，再点击Create，weights file ID variable（其中包含的数值要唯一），或者 add ID variable.选择计算的距离方式 3、接下来Space--Univ ...
分类：
其他好文 时间：
2018-04-24 23:18:26
阅读次数：
819
