开篇高能预警！本文前置知识：1、理解特征函数/能量函数、配分函数的概念及其无向图表示，见《逻辑回归到受限玻尔兹曼机》和《解开玻尔兹曼机的封印》；2、理解特征函数形式的逻辑回归模型，见《逻辑回归到最大熵模型》。从逻辑回归出发，我们已经经过了朴素贝叶斯、浅层神经网络、最大熵等分类模型。显然，分类模型是不考虑时间的，仅仅计算当前的一堆特征对应的类别。因此，分类模型是“点状”的模型。想一下，如果我们有一个
分类：
其他好文 时间：
2020-12-29 11:48:54
阅读次数：
0
梯度下降推导与优化算法的理解和Python实现目录梯度下降算法推导优化算法的理解和Python实现SGDMomentumNestrovAdaGradRMSpropAdam算法的表现1梯度下降算法推导模型的算法就是为了通过模型学习，使得训练集的输入获得的实际输出与理想输出尽可能相近。极大似然函数的本质就是衡量在某个参数下，样本整体估计和真实情况一样的概率，交叉熵函数的本质是衡量样本预测值与真实值之间
分类：
编程语言 时间：
2020-12-19 12:30:58
阅读次数：
5
高等数学基础 | 01 微积分 | 02 泰勒公式与拉格朗日乘子法 | 03 线性代数基础 | 04 特征值与矩阵分解 | 05 概率论基础 | 06 随机变量与概率统计 | 07 随机变量的几种分布 | 08 核函数变换 | 09 熵与激活函数 | 10 假设检验 | 11 相关分析 | 12 回 ...
分类：
其他好文 时间：
2020-12-15 12:46:29
阅读次数：
4
均方误差个交叉熵误差都是常用的损失函数之一。 首先简要介绍下损失函数： 损失函数是用来表示神经网络性能的“恶劣程度”的指标。即当前神经网络对监督数据在多大程度上不拟合，在多大 程度上不一致。说白了，即所创建的神经网络对输入数据的预测输出值与监督数据(实际输出值)的差距。 均方误差： 上面是计算公式， ...
分类：
其他好文 时间：
2020-12-11 12:25:24
阅读次数：
3
Intro 交叉熵，用来衡量两个随机变量之间的相似度。 KL散度（相对熵），量化两种概率分布P和Q之间差异。 计算公式 交叉熵 \(CE(p,q) = - (\sum_{i=1}^{n}[p_{i}*log(q_{i}) + (1-p_{i})*log(1-q_{i})])\) KL散度 \(D_{ ...
分类：
其他好文 时间：
2020-12-10 10:51:19
阅读次数：
3
Entropy, relative entropy and mutual information. Entropy \[ H(X) = -\sum_{x} p(x) \log p(x), \] 熵非负, 且当且仅当$X$确定性的时候为有最小值0, 即$P(X=x_0)=1$. Proof: 由$\l ...
分类：
其他好文 时间：
2020-10-22 23:14:38
阅读次数：
44
作者：蘭陵王 来源：校园干货日记（ID：xiaoyuanganhuo521） 人活着就是在对抗熵增定律，生命以负熵为生。 ——薛定谔《生命是什么》 如果物理学只能留一条定律，我会留熵增定律。 说这句话的人叫吴国盛，清华大学的科学史系主任。 虽然你可能会反驳这个观点，难道不是牛顿的力学和爱因斯坦的相对 ...
分类：
其他好文 时间：
2020-10-07 21:01:21
阅读次数：
21
https://mp.weixin.qq.com/s/tgLfQocAmy8bS3Dquwty3gBy超神经场景描述：今天写的这位长者，也是位不得了的人物——香农，学界尊称他为「信息科学之父」。香农的信息论里的一些贡献，也实际影响了AI的发展，在深度学习大行其道的今天，促生了许多实际的应用。关键词：信息论深度学习熵互信息青年香农时的俊朗自信，还是发明家爱迪生的远方亲戚很多年前的昨天，一位改变世界的
分类：
其他好文 时间：
2020-09-21 11:40:03
阅读次数：
42
今天在看局部熵方面的内容，看论文中介绍的内容感觉局部熵挺容易了，于是就有了实现的想法，结果效果非常糟糕。 得到的几乎是一张空白的图片，就像下面一样： 究其原因是各种论文上都写了这样一个公式： 这里f(i,j)就是在m*n这个局部的像素，这个没问题，不过这里的p是什么东西，按这里的定义p是当前像素灰度 ...
分类：
其他好文 时间：
2020-09-17 20:58:05
阅读次数：
26
