参考：https://blog.csdn.net/b1055077005/article/details/100152102 （文中所有公式均来自该bolg，侵删） 信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，我们需要寻找一个量来衡量信息的有用程度。首先要先明确，这里的 ...
分类：
其他好文 时间：
2020-01-04 12:52:48
阅读次数：
93
机器学习初步 有监督和无监督区别, 一个有标签一个无标签 机器学习的目的, 寻找一个模式 与环境进行交互, 有一个反馈 有监督分为两类问题 主要任务是分类和回归 降维也是无监督的学习 每一行是一个样本, 每一列是一个特征(属性维度) 线性回归 多变量情形 损失函数 平方损失函数 指数损失函数 交叉熵 ...
分类：
其他好文 时间：
2020-01-02 20:59:01
阅读次数：
86
学习pytorch路程之动手学深度学习-3.4-3.7 置信度、置信区间参考：https://cloud.tencent.com/developer/news/452418 本人感觉还是挺好理解的 交叉熵参考博客：https://www.cnblogs.com/kyrieng/p/8694705.h ...
分类：
其他好文 时间：
2020-01-01 23:40:54
阅读次数：
179
来源：https://www.jianshu.com/p/c02a1fbffad6 简单易懂的softmax交叉熵损失函数求导 来写一个softmax求导的推导过程，不仅可以给自己理清思路，还可以造福大众，岂不美哉~ softmax经常被添加在分类任务的神经网络中的输出层，神经网络的反向传播中关键的 ...
分类：
其他好文 时间：
2020-01-01 18:58:50
阅读次数：
67
K-L散度度量信息损失 只需要稍加修改熵H的计算公式就能得到K-L散度的计算公式。设p为观察得到的概率分布，q为另一分布来近似p，则p、q的K-L散度为： entropy-p-q 显然，根据上面的公式，K-L散度其实是数据的原始分布p和近似分布q之间的对数差值的期望。如果继续用2为底的对数计算，则K ...
分类：
其他好文 时间：
2019-12-29 14:57:10
阅读次数：
87
import tensorflow as tf # 1. sparse_softmax_cross_entropy_with_logits样例。 # 假设词汇表的大小为3， 语料包含两个单词"2 0" word_labels = tf.constant([2, 0]) # 假设模型对两个单词预测时，... ...
分类：
编程语言 时间：
2019-12-19 16:16:25
阅读次数：
116
[TOC] 博客： "blog.shinelee.me" | "博客园" | "CSDN" 交叉熵损失与均方误差损失 常规分类网络最后的softmax层如下图所示，传统机器学习方法以此类比， 一共有$K$类，令网络的输出为$[\hat{y}_1,\dots, \hat{y}_K]$，对应每个类别的概 ...
分类：
其他好文 时间：
2019-12-13 00:02:56
阅读次数：
258
认识 我觉得决策树+ 随机森林 应该是 ML 中最为重要的算法之一了吧, 反正我是很喜欢用的. 算法难度低, 可解释性很强, 能可视化 能处理非线性, 可扩展为随机森林(集成学习) 建立决策树的判别依据有很多, 比较主流的有经典的 ID3 算法(熵), C4.5 , 基尼系数等. 我是这种基于熵的理 ...
分类：
其他好文 时间：
2019-12-09 01:00:08
阅读次数：
117
1. Entropy 2. 序列熵（无记忆，有记忆，马尔科夫） 3. Fixed-to-variable-length codes (给n个输出symbols进行变长编码） 4. Asymptotic Equipartition Property 渐近等分性 渐近等分性是指随机变量长序列的一种重要特 ...
分类：
其他好文 时间：
2019-12-04 10:39:08
阅读次数：
106
1. 欧氏距离(Euclidean Distance) 欧氏距离是最容易直观理解的距离度量方法，我们小学、初中和高中接触到的两个点在空间中的距离一般都是指欧氏距离。 二维平面上点a(x1,y1)与b(x2,y2)间的欧氏距离: 三维空间点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离: ...
分类：
其他好文 时间：
2019-12-02 18:35:57
阅读次数：
109
