#!/usr/bin/envpython2#-*-coding:utf-8-*-"""CreatedonTueOct208:43:022018@author:myhaspl@email:myhaspl@myhaspl.comtf.nn.softmaxtf.nn.sparse_softmax_cross_entropy_with_logitstf.nn.softmax_cross_entropy_w
分类：
其他好文 时间：
2018-12-03 20:10:55
阅读次数：
205
原文：Shannon Entropy, Information Gain, and Picking Balls from Buckets 参考视频：Information Entropy 在1948年，Glaude Shannon发表了文章《A Mathematical Theory of Comm ...
分类：
其他好文 时间：
2018-11-25 13:27:10
阅读次数：
216
解决： 下面两种方式都要添加上，速度会很快，启动妙级的 1）在Tomcat环境中解决 可以通过配置JRE使用非阻塞的Entropy Source。 在catalina.sh中加入这么一行： JAVA_OPTS="-Djava.security.egd=file:/dev/./urandom" 即可。 ...
分类：
编程语言 时间：
2018-11-24 22:29:01
阅读次数：
371
好久没有静下心来写点东西了，最近好像又回到了高中时候的状态，休息不好，无法全心学习，恶性循环，现在终于调整的好一点了，听着纯音乐突然非常伤感，那些曾经快乐的大学时光啊，突然又慢慢的一下子出现在了眼前，不知道我大学的那些小伙伴们现在都怎么样了，考研的刚刚希望他考上，实习的菜头希望他早日脱离苦海，小瑞哥 ...
分类：
其他好文 时间：
2018-11-12 20:56:50
阅读次数：
260
第五章中完整的训练MNIST数据的神经网络模型的程序代码中，直接运行程序的话会遇到以下的错误。 把下面的这行代码 tf.initialize_all_variables.run()AttributeError: 'function' object has no attribute 'run' ...
分类：
其他好文 时间：
2018-11-09 14:21:13
阅读次数：
239
一、复习信息熵 为了解决特征选择问题，找出最优特征，先要介绍一些信息论里面的概念。 1、熵（entropy） python3代码实现： 2、条件熵（conditional entropy） python3代码实现： 3、信息增益（information gain） python3代码实现： 看一个简 ...
分类：
其他好文 时间：
2018-10-28 11:14:54
阅读次数：
190
为什么交叉熵可以用于计算代价函数 通用的说，熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。在不同领域熵有不同的解释，比如热力学的定义和信息论也不大相同。 要想明白交叉熵(Cross Entropy)的意义，可以从熵(Entropy) -... ...
分类：
其他好文 时间：
2018-10-26 22:05:30
阅读次数：
201
熵（entropy）、KL散度（Kullback-Leibler (KL) divergence）和交叉熵（cross-entropy）在机器学习的很多地方会用到。比如在决策树模型使用信息增益来选择一个最佳的划分，使得熵下降最大；深度学习模型最后一层使用 softmax 激活函数后，我们也常使用交叉... ...
分类：
其他好文 时间：
2018-09-27 22:53:39
阅读次数：
211
概念 均方差 MSE mean square error 平均绝对差 MAE mean absolute error 交叉损失熵 cross entropy 欠拟合：训练集和测试集性能接近 过拟合：训练集远远高于测试集性能 有监督学习算法比较 knn 调节：n_neighbors 优点：模型很容易解 ...
分类：
编程语言 时间：
2018-09-24 13:51:44
阅读次数：
158
网上的内容感觉又多又乱，自己写一篇决策树算法。希望对别人有所启发，对自己也是一种进步。 决策树 须知概念 信息熵 & 信息增益 熵： 熵（entropy）指的是体系的混乱的程度，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。 信息熵（香农熵）： 是一种信息的度量方式，表示信息的混 ...
分类：
编程语言 时间：
2018-09-24 00:50:03
阅读次数：
185
