交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的预测值与实际值的一种方式。与二次代价函数相比，它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前，本文先简要介绍二次代价函数，以及其存在的不足。 1. 二次代价函数的不足 ANN的设计目的之 ...
分类：
其他好文 时间：
2019-10-07 11:14:50
阅读次数：
89
https://spaces.ac.cn/archives/5448/comment-page-1?replyTo=9054 话在开头 # 在深度学习等端到端方案已经逐步席卷NLP的今天，你是否还愿意去思考自然语言背后的基本原理？我们常说“文本挖掘”，你真的感受到了“挖掘”的味道了吗？ 无意中的邂逅 ...
分类：
其他好文 时间：
2019-10-06 00:43:50
阅读次数：
125
思维的本质是信息处理的过程 最新版本：思维的本质是处理信息的过程，思维的目的是寻找模式。 老版本： 思维的本质就是寻找模式的过程。 前面的说得好，思维的本质就是寻找模式 寻找模式的本质什么呢？我认为就是就是降熵。 根据热力学第二定律，自然界演化是从有序到无序，而生命的发生、演化、生长过程显然是从无序 ...
分类：
其他好文 时间：
2019-10-06 00:06:18
阅读次数：
109
相对于自适应神经网络、感知器，softmax巧妙低使用简单的方法来实现多分类问题。 功能上，完成从N维向量到M维向量的映射 输出的结果范围是[0, 1]，对于一个sample的结果所有输出总和等于1 输出结果，可以隐含地表达该类别的概率 softmax的损失函数是采用了多分类问题中常见的交叉熵，注意 ...
分类：
编程语言 时间：
2019-09-29 19:53:57
阅读次数：
74
信息论主要是对信号所含信息的多少进行量化，其基本思想是一个不太可能发生的事情要比一个可能发生的事情提供更多的信息。 度量信息的集中常用指标有信息熵、条件熵、互信息、交叉熵。 信息熵 信息熵（entropy）简称熵，是对随机变量不确定性的度量。定义为： H(x)=∑pi*log2(pi) 用以下代码来 ...
分类：
其他好文 时间：
2019-09-16 21:48:38
阅读次数：
106
分类损失函数 一、LogLoss对数损失函数（逻辑回归，交叉熵损失） 有些人可能觉得逻辑回归的损失函数就是平方损失，其实并不是。平方损失函数可以通过线性回归在假设样本是高斯分布的条件下推导得到，而逻辑回归得到的并不是平方损失。在逻辑回归的推导中，它假设样本服从伯努利分布（0-1分布），然后求得满足该 ...
分类：
其他好文 时间：
2019-09-14 18:42:40
阅读次数：
374
常用的损失函数有： 1.均方误差： tf.reduce_mean(tf.square(真实值 - 预测值)) 2.自定义损失函数： 3.交叉熵：tf.nn.softmax_cross_entropy_with_logits(lables = lables, logits = logits) 通过预测 ...
分类：
其他好文 时间：
2019-09-05 18:25:35
阅读次数：
101
先挖个 图像去雾之何凯明暗通道先验去雾算法原理及c++代码实现 ICCV 2017：FAIR Mask R-CNN ICCV 2017：FAIR 密集物体检测的 Focal Loss one-stage准确度落后于 two-stage，极端前景类别失衡是主要原因 提出：通过改变标准交叉熵损失来解决这 ...
分类：
其他好文 时间：
2019-09-02 09:32:09
阅读次数：
79
1、似然函数 概率和似然的区别：概率是已知参数的条件下预测未知事情发生的概率，而似然性是已知事情发生的前提下估计模型的参数。我们通常都是将似然函数取最大值时的参数作为模型的参数。 那么为何要取似然函数取最大值的参数作为模型的参数？我们基于这样的假设：对于已经发生的事情，在同样条件下再次发生的概率就会 ...
分类：
其他好文 时间：
2019-08-29 20:05:33
阅读次数：
101
今天面试被问到LR的算法的梯度和正则化项，自己不太理解，所以找了一些相关资料，发现LR的算法在梯度下降，正则化和sigmoid函数方面都有很深的研究，期间也发现一些比较好的资料，记录一下。 这篇论文推导了LR和最大熵模型之间的关系 http://www.win vector.com/dfiles/L ...
分类：
其他好文 时间：
2019-08-26 21:11:02
阅读次数：
105
