最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量 ...
分类：
其他好文 时间：
2017-04-05 22:09:53
阅读次数：
298
我的理解：在限制的条件下，根据已知情况求解未知情况，最优解的选择就是使得未知的熵最大的那个概率 我们在投资时常常讲不要把所有的鸡蛋放在一个篮子里，这样可以降低风险。在信息处理中，这个原理同样适用。在数学上，这个原理称为最大熵原理(the maximum entropy principle)。 让我们 ...
分类：
其他好文 时间：
2017-03-27 23:05:58
阅读次数：
289
0: 原则上，loss函数都应该选convex函数，convex函数的定义就是函数上方得点是一个convex集合 1: 之前使用的0-1的数据预测正负样本，loss函数选用的是cross entropy loss， 实际上这里的0-1 cross entropy和seq2seq的softmax cr ...
分类：
其他好文 时间：
2017-03-16 22:03:47
阅读次数：
1301
2016/10/6 1: 用自定义的weighted loss来看， 10000个batch仍然没有收敛； 2：仍然使用sigmoid cross entropy loss, 7 epoches 左右仍然收敛，对于7w数据； 3：改动loss， 避免nan loss的出现； 2016/12/6 1: ...
分类：
其他好文 时间：
2017-03-16 21:35:00
阅读次数：
435
熵的概念在统计学习与机器学习中真是很重要，熵的介绍在这里：信息熵 Information Theory 。今天的主题是最大熵模型（Maximum Entropy Model，以下简称MaxEnt），MaxEnt 是概率模型学习中一个准则，其思想为：在学习概率模型时，所有可能的模型中熵最大的模型是最好 ...
分类：
其他好文 时间：
2017-03-13 14:43:55
阅读次数：
304
sess=tf.Session() sess.run() cross_entropy = -tf.reduce_sum(y_*tf.log(y)) 这个函数是判断真实值y_和预测值y的差距的 init=tf.initialize_variables() 在Tensorflow中变量是内存缓冲区中保存 ...
分类：
其他好文 时间：
2017-03-10 00:24:30
阅读次数：
231
有两种解决办法： 1）在Tomcat环境中解决 可以通过配置JRE使用非阻塞的Entropy Source。 在catalina.sh中加入这么一行：-Djava.security.egd=file:/dev/./urandom 即可。 加入后再启动Tomcat，整个启动耗时下降到Server st ...
分类：
系统相关 时间：
2016-12-28 17:13:06
阅读次数：
234
本文总结自《Neural Networks and Deep Learning》第3章的内容。 目录 交叉熵代价函数（The cross-entropy cost function） 柔性最大值（softmax） 过度拟合（Overfitting） 规范化（regularization） 权重初始化 ...
分类：
其他好文 时间：
2016-12-19 00:14:41
阅读次数：
329
转自：http://blog.csdn.net/u014313009/article/details/51043064，感谢分享！ 交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的预测值与实际值的一种方式。与二次代价函数相比，它能更有效地促进 ...
分类：
其他好文 时间：
2016-11-25 17:34:58
阅读次数：
567
最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量 ...
分类：
其他好文 时间：
2016-11-23 22:23:15
阅读次数：
308
