原理 对数损失, 即对数似然损失(Log-likelihood Loss), 也称逻辑斯谛回归损失(Logistic Loss)或交叉熵损失(cross-entropy Loss), 是在概率估计上定义的.它常用于(multi-nominal, 多项)逻辑斯谛回归和神经网络,以及一些期望极大算法的变 ...
分类：
编程语言 时间：
2018-06-23 20:54:44
阅读次数：
960
1、使用示例 2、树模型参数：【很多参数都是用来限制树过于庞大，即担心其过拟合】 # 1.criterion gini or entropy：用什么作为衡量标准 ( 熵值或者Gini系数 ）。 # 2.splitter best or random 前者是在所有特征中找最好的切分点 后者是在部分特征 ...
分类：
其他好文 时间：
2018-06-10 15:07:28
阅读次数：
310
question: Show, in the style of the trace given with the code, how the entropy-optimal sort first partitions the array B A B A B A B A C A D A B R A. ...
分类：
其他好文 时间：
2018-06-03 19:32:06
阅读次数：
152
Softmax交叉熵损失函数(Softmax cross-entropy loss)是作用于非归一化的输出结果只针对单个目标分类的计算损失。通过softmax函数将输出结果转化成概率分布，然后计算真值概率分布的损失： 输出：[ 1.16012561] 稀疏Softmax交叉熵损失函数(Sparse ...
分类：
其他好文 时间：
2018-05-25 21:05:23
阅读次数：
170
信息的度量 信息熵 entropy 用h表示信息的作用在于消除不确定性 互信息两件事相关性的度量，在了解其中一个的前提下，对消除另一个不确定性提供的信息量 香农第一定理 一个信息，任何编码的长度都不小于它的信息熵 pagerank算法核心思想： 如果一个网页被很多其他网页所链接，说明它受到普遍的承认 ...
分类：
其他好文 时间：
2018-05-23 20:27:02
阅读次数：
183
#TensorFlow函数 ce = -tf.reduce_mean(y_* tf.log(tf.clip_by_value(y, 1e-12, 1.0))) #Tensorflow代码 ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logi... ...
分类：
其他好文 时间：
2018-05-21 01:02:49
阅读次数：
185
Tensorflow交叉熵函数：cross_entropy 注意：tensorflow交叉熵计算函数输入中的logits都不是softmax或sigmoid的输出，而是softmax或sigmoid函数的输入，因为它在函数内部进行sigmoid或softmax操作 tf.nn.sigmoid_cro ...
分类：
其他好文 时间：
2018-05-05 15:26:04
阅读次数：
253
引言 (废话) 我们经常说的“信息量太大了”，其中的”信息量“到底如何度量？ Claude Elwood Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”。 这个概念现在看着很简单易懂，但是开创性地提出这样的概念不是容易的事情。 1 Entropy 熵 熵(entr ...
分类：
其他好文 时间：
2018-05-01 17:43:49
阅读次数：
160
tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None) 除去name参数用以指定该操作的name，与方法有关的一共两个参数： 第一个参数logits：就是神经网络最后一层的输出，如果有batch的话，它的大小就是[batc ...
分类：
其他好文 时间：
2018-04-13 13:21:46
阅读次数：
152
函数功能： 计算 logits 与 labels 的 softmax 交叉熵.## 函数定义```def softmax_cross_entropy_with_logits(_sentinel=None, # pylint: disable=invalid-name labels=None, ... ...
分类：
其他好文 时间：
2018-03-07 21:38:49
阅读次数：
189
