与非门的图片如下 示意图 详细解释： 1 定义变量的代码，包括了输入、权值、输出等。其中激活函数采用的是sigmod函数 2 定义目标输出和损失函数计算方式，我们采用的平方损失 另外也可以采用交叉熵损失函数 3 误差反向传播求导，直接调用theano函数求解，方便快捷 4 权值更新 5 开始训练 6 ...
分类：
其他好文 时间：
2016-08-14 17:27:32
阅读次数：
409
lz这篇文章主要讲：熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),交叉熵(cross entropy),困惑度(perplexity),互信息(mutual information)。熵 (信息论)/信息熵在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。...
分类：
其他好文 时间：
2016-06-21 07:51:15
阅读次数：
568
<span style="font-family:宋体;mso-ascii-font-family:Cambria;mso-ascii-theme-font:minor-latin;
mso-fareast-font-family:宋体;mso-fareast-theme-font:minor-fareast;mso-hansi-font-family:
Cambria;mso-hansi-the...
分类：
其他好文 时间：
2016-05-13 02:30:21
阅读次数：
269
交叉熵损失函数交叉熵损失函数的简单介绍的链接
下面我们就介绍一下caffe里面实现交叉熵的流程：
首先：下面这个式子就是交叉熵的损失表达式
E=?1n∑n=1n[pnlogp^n+(1?pn)log(1?p^n)]E = -\frac{1}{n}\sum\limits_{n=1}^n \left[p_n\log\hat{p}_n+(1-p_n)\log(1-\hat{p}_n)\right]...
分类：
其他好文 时间：
2016-05-12 17:27:44
阅读次数：
1298
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为： 其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+...
分类：
其他好文 时间：
2015-03-13 14:27:18
阅读次数：
293
学习排序算法（二）：Pairwise方法之RankNet
前面一篇博文介绍的Ranking SVM是把LTR问题转化为二值分类问题，而RankNet算法是从另外一个角度来解决，那就是概率的角度。
1. RankNet的基本思想
RankNet方法就是使用交叉熵作为损失函数，学习出一些模型（例如神经网络、决策树等）来计算每个pair的排序得分，学习模型的过程可以使用梯度下降法。...
分类：
编程语言 时间：
2014-12-24 16:21:32
阅读次数：
1832
一、信息论基础： 熵： 联合熵：实际上就是描述一对随机变量平均所需要的信息量。
条件熵：给定随机变量 X 的情况下，随机变量 Y 的条件熵定义为： 熵率： 相对熵（KL距离）：两个概率分布 p(x) 和 q(x) 的相对熵定义为：
交叉熵：如果一个随机变量 X ~ p(x)，q(x)为用于近似 p(...
分类：
其他好文 时间：
2014-05-31 15:39:37
阅读次数：
319
