Tutorial on Losses in Convolutional Neural Networks Abstract 1. Introduction 2.Related Work 3. Cross-Entropy Loss The Cross-Entropy Loss is actually t ...
分类：
Web程序 时间：
2019-05-17 18:16:15
阅读次数：
158
softmax 和 cross entropy 是机器学习中很常用的函数，softmax 常用来作为 DNN 分类网络最后一层的激活函数，而 cross entropy 也是一种常用的 loss function。熟悉两者的求导有助于理解为什么 tensorflow 会把这两个函数封装成一个 fun... ...
分类：
其他好文 时间：
2019-04-29 16:03:27
阅读次数：
159
转自：https://blog.csdn.net/tsyccnh/article/details/79163834 关于交叉熵在loss函数中使用的理解交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用 ...
分类：
其他好文 时间：
2019-04-18 00:45:09
阅读次数：
983
Cassandra如何保证数据最终一致性：1、逆熵机制(Anti-Entropy)使用默克尔树(Merkle Tree)来确认多个副本数据一致，对于不一致数据，根据时间戳来获取最新数据。 2、读修复机制(Read Repair)当Cassandra读数据时，需要根据读一致级别设定读取N个节点的副本数 ...
分类：
其他好文 时间：
2019-03-15 00:55:03
阅读次数：
376
机器学习的面试题中经常会被问到交叉熵(cross entropy)和最大似然估计(MLE)或者KL散度有什么关系，查了一些资料发现优化这3个东西其实是等价的。 熵和交叉熵 提到交叉熵就需要了解下信息论中熵的定义。信息论认为： 确定的事件没有信息，随机事件包含最多的信息。 事件信息的定义为：$I(x) ...
分类：
其他好文 时间：
2019-03-13 18:02:58
阅读次数：
265
Keras 文档http://keras.io 使用GPU加速模型训练： 训练深度神经网络的一些策略，用于提升模型精确度 1）选择合适的代价函数loss：MSE （Mean Squared Error）均方误差，Cross Entropy交叉熵。当输出层为softmax层时，选择交叉熵代价函数更为科 ...
分类：
其他好文 时间：
2019-02-03 18:24:02
阅读次数：
340
转自：http://www.cnblogs.com/hxsyl/p/4910218.html 一、第一种理解 相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息 ...
分类：
其他好文 时间：
2019-01-24 00:26:40
阅读次数：
151
>>> a=np.array([[-2.6, -1.7, -3.2, 0.1], [-2.6, -1.7, 3.2, 0.1]]) >>> z=tf.nn.sparse_softmax_cross_entropy_with_logits(logits=a,labels=[2,2]) >>> sess... ...
分类：
其他好文 时间：
2019-01-22 21:53:36
阅读次数：
194
这两篇文章（上，下）已经总结得很好了 http://www.cnblogs.com/pinard/p/6050306.html https://www.cnblogs.com/pinard/p/6053344.html 1. 数学基础 1.信息论的信息熵：Entropy 2.基尼不纯度：Gini i ...
分类：
编程语言 时间：
2018-12-26 15:53:58
阅读次数：
183
1.tf.clip_by_value 将一个张量中的数值限制在一个范围内 常用：避免一些运算错误（比如log0是无效的） cross_entropy=-tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0))) 2.tf.where() wher ...
分类：
其他好文 时间：
2018-12-10 11:33:57
阅读次数：
216
