本篇借鉴了这篇文章，如果有兴趣，大家可以看看：https://blog.csdn.net/geter_CS/article/details/84857220 1、交叉熵：交叉熵主要是用来判定实际的输出与期望的输出的接近程度 2、CrossEntropyLoss()损失函数结合了nn.LogSoftm ...
分类：
其他好文 时间：
2020-06-26 14:34:08
阅读次数：
590
神经网络 BPNN 感知机 神经网络入门 反向传播 tensorflow tf基础 控制依赖项 变量命名域和tensorboard 一元线性回归 模型持久化 交叉熵 global_steps的使用 手写数据集实现 CNN 激活函数 CNN过拟合 手写数据集CNN模型 权重初始化-CNN 批归一化 自 ...
分类：
其他好文 时间：
2020-06-18 17:49:05
阅读次数：
63
keras-交叉熵的介绍和应用 1.载入数据以及预处理 import numpy as np from keras.datasets import mnist from keras.utils import np_utils from keras.models import Sequential f ...
分类：
其他好文 时间：
2020-06-07 22:57:45
阅读次数：
93
机器学习中的交叉熵 交叉熵的定义 概率分布p和q的交叉熵定义为： $$ {\displaystyle \mathrm {H} (p,q)=\operatorname {E} _{p}[ \log(q)]=\mathrm {H} (p)+D_{\text{KL}}(p\parallel q)} $$ ...
分类：
其他好文 时间：
2020-05-01 20:54:26
阅读次数：
97
一张验证码图片直接做整体识别 也就是图片的最后输出节点有4*26=104个，经过一个softmax，使用交叉熵损失，与真实值4*26=104个标签做计算，然后反向传播 104个onehot编码真实值当中，每26个编码里会有一个正例1其余25个为零，4个26个编码里有4个值为1，其余和图片分类一样 意 ...
分类：
其他好文 时间：
2020-04-29 00:46:34
阅读次数：
108
Tensorflow中的交叉熵函数tensorflow中自带四种交叉熵函数，可以轻松的实现交叉熵的计算。 tf.nn.softmax_cross_entropy_with_logits() tf.nn.sparse_softmax_cross_entropy_with_logits() tf.nn. ...
分类：
其他好文 时间：
2020-04-05 15:23:50
阅读次数：
78
交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设X的信息量为：I(x0)=?log(p(x0))时，熵将等于0，也就是说该事件的发生不会导致任何信息量的增加。举个例子，小明平时不爱学习，考试经常不及格， ...
分类：
其他好文 时间：
2020-03-31 14:11:35
阅读次数：
89
softmax 使用softmax的原因 以概率占比得到预测标签 标签值为离散值，离散值与输出值之间的误差无法界定 softmax的实现（指数实现） 分类的时候以概率值最高的序号(argmax)作为y_hat 损失函数（交叉熵损失函数） 交叉熵应用于分类的解析： 假设有q类，标签label为离散值k ...
分类：
其他好文 时间：
2020-03-04 17:31:10
阅读次数：
69
1、信息量 “陈羽凡吸毒？！工作室不是刚辟谣了吗？哇！信息量好大！” 在生活中，极少发生的事情最容易引起吃瓜群众的关注。而经常发生的事情则不会引起注意，比如吃瓜群众从来不会去关系明天太阳会不会东边升起。 信息量的多少与事件发生概率的大小成反比。 对于已发生的事件i，其所提供的信息量为： 其中底数通常 ...
分类：
其他好文 时间：
2020-02-28 21:01:26
阅读次数：
54
Softmax是用于分类过程，用来实现多分类的 它把一些输出的神经元映射到（0-1）之间的实数，并且归一化保证和为1，从而使得多分类的概率之和也刚好为1。 Softmax可以分为soft和max，max也就是最大值，假设有两个变量a,b。如果a>b，则max为a，反之为b。那么在分类问题里面，如果只 ...
分类：
其他好文 时间：
2020-02-24 17:05:31
阅读次数：
97
