1.在阅读tensorflow源码的softmax实现过程中，可以看到它的实现有两个特殊地方： ①计算e指数的时候，所有logits都减去了每行的最大值 ②其softmax_op_functor.h中，可以看到根据传入的log参数不同分别有两种不同计算方法。log为true时，计算LogSoftma ...
分类：
其他好文 时间：
2018-05-26 17:51:55
阅读次数：
2058
基于PaddlePaddle框架利用RNN（循环神经网络）生成古诗句 在本项目中，将使用PaddlePaddle实现循环神经网络模型（即RNN模型，以下循环神经网络都称作RNN）,并实现基于RNN语言模型进行诗句的生成。 本项目利用全唐诗数据集对RNN语言模型进行训练，能够实现根据输入的前缀诗句，自 ...
分类：
其他好文 时间：
2018-05-26 01:13:56
阅读次数：
297
Softmax交叉熵损失函数(Softmax cross-entropy loss)是作用于非归一化的输出结果只针对单个目标分类的计算损失。通过softmax函数将输出结果转化成概率分布，然后计算真值概率分布的损失： 输出：[ 1.16012561] 稀疏Softmax交叉熵损失函数(Sparse ...
分类：
其他好文 时间：
2018-05-25 21:05:23
阅读次数：
170
链接：https://mp.weixin.qq.com/s/BEjj5zJG3QmxvQiqs8P4-w softmax CRF主要用于序列标注问题，可以简单理解为是给序列中的每一帧，既然是分类，很自然想到将这个序列用CNN或者RNN进行编码后，接一个全连接层用softmax激活，如下图所示 逐帧s ...
分类：
其他好文 时间：
2018-05-22 17:18:18
阅读次数：
6543
#TensorFlow函数 ce = -tf.reduce_mean(y_* tf.log(tf.clip_by_value(y, 1e-12, 1.0))) #Tensorflow代码 ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logi... ...
分类：
其他好文 时间：
2018-05-21 01:02:49
阅读次数：
185
TensorFlow入门 入门用法 1.首先载入Tensorflow库,并创建InteractiveSession,接下来创建Placeholder,即输入数据的地方 2.然后定义系数W and b 3.实现算法（以softmax为例） 4.定义损失函数（loss Function)描述模型对分类的 ...
分类：
其他好文 时间：
2018-05-13 12:03:22
阅读次数：
149
一、输出层结构 注意到，huffman树的每一层，都有参数和激活函数sigmoid存在，实际上是一个神经网络。影响该节点的二分类走向。这和一般的多分类问题中，各种分类是同处于平等的最后一层，是不同的。 二、模型推导 我们重点关注输出层huffman树过程的模型推导。对于每个走到huffman树根节点 ...
分类：
其他好文 时间：
2018-05-12 13:16:36
阅读次数：
166
背景知识：http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92 假设softmax层的输入（softmax前一次的输出），或者理解为一般分类器的得分f(x)=</theta,x>中的/theta可以随便减一 ...
分类：
Web程序 时间：
2018-05-12 11:54:11
阅读次数：
693
监督学习 非监督学习：学习结构化知识 强化学习 监督学习: 线性回归模型：输出y是连续的 Logistic回归模型（实际上不是回归问题，是分类问题）：输出y是0，1离散的 Logistic回归模型： Sigmoid函数：将任何输入变成0与1之间的输出，也用来表示概率 softmax函数：将多个输入变 ...
分类：
其他好文 时间：
2018-05-08 19:33:31
阅读次数：
214
从香农的信息熵谈其起，再聊聊逻辑回归和softmax； ...
分类：
其他好文 时间：
2018-05-07 22:47:01
阅读次数：
147
