1.基础神经网络： 输入向量ｘ，权重向量w， 偏置标量b， 激活函数sigmoid（增加非线性度） 优化手段： 梯度下降优化， BP向后传播（链式规则） 梯度下降优化： 1. 使用得目标函数是交叉熵 c = 1/nΣΣ[yj*lnaj^2 + (1-yj)*ln(1-aj^2)] yj表示得是样本标 ...
分类：
编程语言 时间：
2018-10-15 20:49:02
阅读次数：
196
softmax loss: N是样本的数量，i代表第i个样本，j代表第j个类别，fyi代表着第i个样本所属的类别的分数 fyi是全连接层的输出，代表着每一个类别的分数， 每一个分数即为权重W和特征向量X的内积 每个样本的softmax值即为： L-softmax loss: 假设一个2分类问题，x属 ...
分类：
其他好文 时间：
2018-10-12 13:57:31
阅读次数：
1385
现有方法通常基于单词获取节点的文本特征矩阵，忽略分层结构（单词、句子），该文提出SHANE 模型，集成节点结构，文本和标签信息，并以半监督的方式学习网络嵌入，使用分层注意网络学习节点的文本特征， 两层双向 GRU 提取单词和句子的潜在特征 ...
分类：
Web程序 时间：
2018-10-09 13:30:53
阅读次数：
239
一、W2V的两种模型：CBOW和Skip-gram W2V有两种模型，分别为CBOW和skip-gram，CBOW是根据上下文$context(w)$来预测中间词$w$，而skip-gram是根据中间词$w$来预测上下文$context(w)$；他们都有3层结构——输入层，投影层，输出层。（注：无隐 ...
分类：
其他好文 时间：
2018-10-04 00:06:27
阅读次数：
334
1、MNIST数据集简介 首先通过下面两行代码获取到TensorFlow内置的MNIST数据集： MNIST数据集共有55000（mnist.train.num_examples）张用于训练的数据，对应的有55000个标签；共有10000（mnist.test.num_examples）张用于测试的 ...
分类：
其他好文 时间：
2018-10-01 16:10:18
阅读次数：
162
logstash.yml # Settings file in YAML## Settings can be specified either in hierarchical form, e.g.:## pipeline:# batch:# size: 125# delay: 5## Or as f ...
分类：
其他好文 时间：
2018-10-01 11:56:31
阅读次数：
251
因写作需要，再精读一下这篇文章，只说这篇文章提出的方法。 1、摘要部分： 本文提出了一种基于卷积神经网络的深层次显著性网络（deep hierarchical saliency network，DHSNet）。该网络以下统一称作“DHSNet”。工作流程大体是这样的： 1）首先，DHSNet通过自动 ...
分类：
Web程序 时间：
2018-09-29 10:20:05
阅读次数：
927
熵（entropy）、KL散度（Kullback-Leibler (KL) divergence）和交叉熵（cross-entropy）在机器学习的很多地方会用到。比如在决策树模型使用信息增益来选择一个最佳的划分，使得熵下降最大；深度学习模型最后一层使用 softmax 激活函数后，我们也常使用交叉... ...
分类：
其他好文 时间：
2018-09-27 22:53:39
阅读次数：
211
对于分类问题的神经网络最后一层的函数做如下知识点总结： sigmoid函数的定义：令p(y=1)=x，p(y=0)=1-x，f =ln( x/(1-x))，推导出x=ef/(1-ef)，即输出的是y=1的概率，这一点与softmax函数不同. 常用损失函数介绍： MSE：均方误差一遍用于回归问题的损 ...
分类：
其他好文 时间：
2018-09-27 14:21:54
阅读次数：
523
在多分类问题中，我们可以使用 softmax 函数，对输出的值归一化为概率值。下面举个例子： Press to save figure to "net.svg", to break c:\programdata\anaconda3\lib\site packages\viznet\context.p ...
分类：
其他好文 时间：
2018-09-25 19:38:37
阅读次数：
149
