码迷,mamicode.com
首页 >  
搜索关键字:熵    ( 678个结果
softmax、交叉熵
Softmax是用于分类过程,用来实现多分类的 它把一些输出的神经元映射到(0-1)之间的实数,并且归一化保证和为1,从而使得多分类的概率之和也刚好为1。 Softmax可以分为soft和max,max也就是最大值,假设有两个变量a,b。如果a>b,则max为a,反之为b。那么在分类问题里面,如果只 ...
分类:其他好文   时间:2020-02-24 17:05:31    阅读次数:97
决策树与随机森林分类算法(Python实现)
一、原理: 决策树:能够利用一些决策结点,使数据根据决策属性进行路径选择,达到分类的目的。 一般决策树常用于DFS配合剪枝,被用于处理一些单一算法问题,但也能进行分类 。 也就是通过每一个结点的决策进行分类,那么关于如何设置这些结点的决策方式: 熵:描述一个集合内元素混乱程度的因素。 熵的衡量公式: ...
分类:编程语言   时间:2020-02-23 11:14:03    阅读次数:233
二次代价函数、交叉熵(cross-entropy)、对数似然代价函数(log-likelihood cost)
二次代价函数 $C = \frac{1} {2n} \sum_{x_1,...x_n} \|y(x)-a^L(x) \|^2$ 其中,C表示代价函数,x表示样本,y表示实际值,a表示输出值,n表示样本的总数;整个的意思就是把n个y-a的平方累加起来,再除以2求一下均值。 为简单起见,先看下 一个样本 ...
分类:其他好文   时间:2020-02-23 09:50:04    阅读次数:230
熵权可拓物元模型
熵权可拓物元模型
分类:其他好文   时间:2020-02-20 09:50:25    阅读次数:65
交叉熵损失函数来源及求导推导
记录一下,方便复习 总结: ...
分类:其他好文   时间:2020-02-20 09:34:41    阅读次数:68
WGAN将数值限制在一定范围内 Python代码 tf.clip_by_value(p, -0.01, 0.01))
tf.clip_by_value(p, min, max)) 运用的是交叉熵而不是二次代价函数。 功能:可以将一个张量中的数值限制在(min,max)内。(可以避免一些运算错误:可以保证在进行log运算时,不会出现log0这样的错误或者大于1的概率) 参数: p:input数据 当p小于min时,输 ...
分类:编程语言   时间:2020-02-18 20:57:10    阅读次数:156
【动手学pytorch】softmax回归
一、什么是softmax? 有一个数组S,其元素为Si ,那么vi 的softmax值,就是该元素的指数与所有元素指数和的比值。具体公式表示为: softmax回归本质上也是一种对数据的估计 二、交叉熵损失函数 在估计损失时,尤其是概率上的损失,交叉熵损失函数更加常用。下面是交叉熵 当我们预测单个物 ...
分类:其他好文   时间:2020-02-13 00:30:19    阅读次数:115
cnn初探
resnet的结构 f(x)=conv-》relu-》conv(x) +x 注意:pytorch的交叉熵输入是原始数据 不需要softmax resnet不能用dropout,最好用bn 将32*32*3 初始的5*5*6卷积核替换为3*3*16后,表现良好 输出:(W-Wf+2*Padding)/ ...
分类:其他好文   时间:2020-02-05 09:21:14    阅读次数:70
google vp8 视频技术
On2 VP8加入了40多项的创新技术,在压缩效率和性能方面超越了市面上的所有其他视频格式。这些创新技术包括: * 基于虚拟参考祯的高级预计编码 * 基于宏块级的多线程技术 * 改进的局域参考编码 * 增加复杂度的先进上下文熵编码 * 稀疏目标区域的自适应回路滤波 ...
分类:其他好文   时间:2020-02-02 23:25:43    阅读次数:100
损失函数——均方误差和交叉熵
1.MSE(均方误差) MSE是指真实值与预测值(估计值)差平方的期望,计算公式如下: MSE = 1/m (Σ(ym-y'm)2),所得结果越大,表明预测效果越差,即y和y'相差越大 y = tf.constant([1,2,3,0,2]) y = tf.one_hot(y,depth=4) y ...
分类:其他好文   时间:2020-01-27 15:40:00    阅读次数:100
678条   上一页 1 ... 5 6 7 8 9 ... 68 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!