最近在看深度学习的"花书" （也就是Ian Goodfellow那本了），第五章机器学习基础部分的解释很精华，对比PRML少了很多复杂的推理，比较适合闲暇的时候翻开看看。今天准备写一写很多童鞋们w未必完全理解的最大似然估计的部分。 单纯从原理上来说，最大似然估计并不是一个非常难以理解的东西。最大似然 ...
分类：
其他好文 时间：
2017-11-27 14:17:27
阅读次数：
243
1、香农墒定义 信息论大师香农给出了信息随机性的度量，称为信息墒。信息的随机性越大，信息墒就越大。假定事件s1,s2,s3……sn，它们出现的概率为p(s1),p(s2)……p(sn)，则每个事件的平均不确定性用香农墒（Shannon entropy）来定义，为 2、图像的局部墒优化 由香农墒的定义 ...
分类：
其他好文 时间：
2017-11-18 17:28:00
阅读次数：
155
翻译自：https://stackoverflow.com/questions/34240703/whats-the-difference-between-softmax-and-softmax-cross-entropy-with-logits 问题： 在Tensorflow官方文档中，他们使用一 ...
分类：
其他好文 时间：
2017-11-04 20:44:25
阅读次数：
364
http://www.jianshu.com/p/75f7e60dae95 作者：陈迪豪 来源：CSDNhttp://dataunion.org/26447.html 交叉熵介绍 交叉熵（Cross Entropy）是Loss函数的一种（也称为损失函数或代价函数），用于描述模型预测值与真实值的差距大 ...
分类：
编程语言 时间：
2017-10-20 18:43:50
阅读次数：
192
决策树／判定树：是一个类似于流程图的树结构，其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布。树的最顶层是根结点。 熵（entropy）概念：信息量的度量就等于不确定性的多少。一条信息的信息量大小和它的不确定性有直接的关系，要搞清楚一件非常不确定的事情 ...
分类：
其他好文 时间：
2017-10-18 00:28:58
阅读次数：
184
PHP uniqid()函数 一，用法。 基于微秒计的当前时间，生成一个唯一的ID。 二，原定义。 string uniqid ( [string prefix [, bool more_entropy]] ) prefix 可选，用于定义。 more_entropy 可选，规定位于返回值末尾的更多 ...
分类：
其他好文 时间：
2017-10-13 17:04:25
阅读次数：
117
https://rdipietro.github.io/friendly-intro-to-cross-entropy-loss/ 【将输入转化为输出：概率分布】 When we develop a model for probabilistic classification, we aim to ...
分类：
其他好文 时间：
2017-09-26 22:24:22
阅读次数：
200
https://en.wikipedia.org/wiki/Claude_Shannon In 1948, the promised memorandum appeared as "A Mathematical Theory of Communication," an article in two ...
分类：
其他好文 时间：
2017-09-26 21:05:03
阅读次数：
191
tomcat8在linux下安装使用一段时间后启动非常慢，6分钟左右。 原因是一个随机数生成参数导致的。 处理如下： 修改catalina.sh .配置JRE使用非阻塞的Entropy Source if [ -z "$JSSE_OPTS" ] ; then JSSE_OPTS="-Djdk.tls ...
分类：
其他好文 时间：
2017-09-10 15:05:32
阅读次数：
548
xent_regularize, Cross Entropy Regularize nnet3/nnet-discriminative-trainning.cc:109 void NnetDiscriminativeTrainer::ProcessOutputs() 交叉熵正则化，即帧平滑 《解读深... ...
分类：
其他好文 时间：
2017-09-09 23:13:18
阅读次数：
326
