分析结果主要原因是生成随机数的时候卡住了,导致tomcat启动不了。是否有足够的熵来用于产生随机数
分类：
其他好文 时间：
2018-05-30 10:55:38
阅读次数：
126
最大熵源码解读 先简要介绍一下最大熵，主要的参考资料是： 《自然语言处理的最大熵模型》常宝宝 《统计自然语言处理》第二章 《条件随机场综述》韩雪东 《Classical Probabilistic Models and Conditional Random Fields》 Roman Klinger ...
分类：
其他好文 时间：
2018-05-26 17:55:23
阅读次数：
226
Softmax交叉熵损失函数(Softmax cross-entropy loss)是作用于非归一化的输出结果只针对单个目标分类的计算损失。通过softmax函数将输出结果转化成概率分布，然后计算真值概率分布的损失： 输出：[ 1.16012561] 稀疏Softmax交叉熵损失函数(Sparse ...
分类：
其他好文 时间：
2018-05-25 21:05:23
阅读次数：
170
信息的度量 信息熵 entropy 用h表示信息的作用在于消除不确定性 互信息两件事相关性的度量，在了解其中一个的前提下，对消除另一个不确定性提供的信息量 香农第一定理 一个信息，任何编码的长度都不小于它的信息熵 pagerank算法核心思想： 如果一个网页被很多其他网页所链接，说明它受到普遍的承认 ...
分类：
其他好文 时间：
2018-05-23 20:27:02
阅读次数：
183
#TensorFlow函数 ce = -tf.reduce_mean(y_* tf.log(tf.clip_by_value(y, 1e-12, 1.0))) #Tensorflow代码 ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logi... ...
分类：
其他好文 时间：
2018-05-21 01:02:49
阅读次数：
185
CART树 CART树与上一篇文章提到的ID3、C4.5的区别在于： （1）CART树只能够生成2个结点，即CART树是一棵二叉决策树，而后两者在进行划分时可以根据特征值的种类生成2个以上的结点。 （2）CART分类树的划分依据是基尼指数（Gini index）最小化准则，而后两者是根据熵的最小化准 ...
分类：
其他好文 时间：
2018-05-18 13:57:57
阅读次数：
168
1、逻辑斯蒂分布 sigmoid 曲线 二项逻辑斯蒂回归模型，实际上是二项判别模型。 基于逻辑斯蒂的似然函数等于每个取值的概率之积。对数似然是对他们取log 多项逻辑斯蒂回归，实际是二项的扩展。 2、最大熵模型 由5.2.2节的熵模型。使我们需要的公式。 所谓最大熵，是指83页定义的条件熵的最大熵。 ...
分类：
其他好文 时间：
2018-05-18 00:34:27
阅读次数：
137
整理自：https://mp.weixin.qq.com/s/LGyNq3fRlsRSatu1lpFnnw 自信息是熵的基础，理解它对后续理解各种熵非常有用。自信息表示某一事件发生时所带来的信息量的多少，当事件发生的概率越大，则自信息越小，或者可以这样理解：某一事件发生的概率非常小，但是实际上却发生 ...
分类：
其他好文 时间：
2018-05-17 23:25:44
阅读次数：
356
整理自：https://mp.weixin.qq.com/s/LGyNq3fRlsRSatu1lpFnnw 问题：熵是什么？熵存在的意义是啥？为什么叫熵？ 答案：在机器学习中熵是表征随机变量分布的混乱程度，分布越混乱，则熵越大，在物理学上表征物质状态的参量之一，也是体系混乱程度的度量； 熵存在的意义 ...
分类：
其他好文 时间：
2018-05-17 23:17:29
阅读次数：
224
整理自：https://mp.weixin.qq.com/s/LGyNq3fRlsRSatu1lpFnnw 周志华的西瓜书—第四章 公式 信息增益是决策树ID3算法在进行特征切割时使用的划分准则，其物理意义和互信息完全相同，并且公式也是完全相同。 其中D表示数据集，A表示特征，信息增益表示得到A的信 ...
分类：
其他好文 时间：
2018-05-17 23:14:40
阅读次数：
221
