1、信息量： 公式：I(x) = -logp(x)，单从公式上也可以看出，概率越低熵越大（低概率事件带来的高信息量）。通俗一点来说的话，就是概率论中很简单的推广就行了。 2、熵的定义： （1）上面的 I(x) 是指在某个概率分布之下，某个概率值对应的信息量的公式。那么我们要知道这整个概率分布对应的信 ...
分类：
其他好文 时间：
2018-03-20 21:43:19
阅读次数：
234
原文:Win8 Metro(C#)数字图像处理--2.57一维最大熵法图像二值化 ?? [函数名称] 一维最大熵法图像二值化WriteableBitmap EntropymaxThSegment(WriteableBitmap src) [算法说明] 一维最大熵法图像分割就是利用图像的灰度... ...
函数功能： 计算 logits 与 labels 的 softmax 交叉熵.## 函数定义```def softmax_cross_entropy_with_logits(_sentinel=None, # pylint: disable=invalid-name labels=None, ... ...
分类：
其他好文 时间：
2018-03-07 21:38:49
阅读次数：
189
id3 信息增益 c4.5 信息增益比 CART 基尼指数 参考 优缺点： 决策树算法原理 (上) 决策树算法原理 (下) 简略介绍： [Machine Learning & Algorithm] 决策树与迭代决策树（GBDT） 1.熵的概念 首先，我们需要熟悉信息论中熵的概念。熵度量了事物的不确定 ...
分类：
其他好文 时间：
2018-03-07 18:56:45
阅读次数：
162
高中的时候，我想着未来我是要搞学问，当大师，为天地立心，为生民立命，为往圣继绝学，为万世开太平。虽然时至今日我依然有这样的想法，但我现在知道，要成为这样的人太不容易了。这是一个逆熵过程。一当时物理老师讲电场，电势，快下课的时候，老师对我们说：电势是带点粒子从电场中的某一个位置移动到某个位置所耗费的功 ...
分类：
其他好文 时间：
2018-03-07 16:30:10
阅读次数：
197
熵和生命活力，就像两支时间之矢，一头儿拖拽着我们进入无穷的黑暗，一头儿拉扯着我们走向永恒的光明。 鲁道夫·克劳修斯发现热力学第二定律时，定义了熵。自然社会任何时候都是高温自动向低温转移的。在一个封闭系统最终会达到热平衡，没有了温差，再不能作功。这个过程叫熵增，最后状态就是熵死，也称热寂。 熵首先是物 ...
分类：
其他好文 时间：
2018-03-07 13:25:07
阅读次数：
146
1 logistic regression model1.1 logistic distribution1.2 binary logistic regression model1.3 模型参数估计1.4 multi-nominal logistic regression model2 最大熵模型2.... ...
分类：
其他好文 时间：
2018-03-07 13:18:48
阅读次数：
289
克劳修斯引入了熵的概念来描述这种不可逆过程。 在热力学中，熵是系统的状态函数，它的物理表达式为： S =∫dQ/T或ds = dQ/T 其中，S表示熵，Q表示热量，T表示温度。 该表达式的物理含义是：一个系统的熵等于该系统在一定过程中所吸收（或耗散）的热量除以它的绝对温度。可以证明，只要有热量从系统 ...
分类：
其他好文 时间：
2018-03-05 23:33:02
阅读次数：
221
一、H.264中的熵编码基本方法： 熵编码具有消除数据之间统计冗余的功能，在编码端作为最后一道工序，将语法元素写入输出码流 熵解码作为解码过程的第一步，将码流解析出语法元素供后续步骤重建图像使用 在H.264的标准协议中，不同的语法元素指定了不同的熵编码方法。在协议文档中共指定了10种语法元素的描述 ...
分类：
编程语言 时间：
2018-03-05 11:07:16
阅读次数：
202
在决策树算法原理(上)这篇里，我们讲到了决策树里ID3算法，和ID3算法的改进版C4.5算法。对于C4.5算法，我们也提到了它的不足，比如模型是用较为复杂的熵来度量，使用了相对较为复杂的多叉树，只能处理分类不能处理回归等。对于这些问题， CART算法大部分做了改进。CART算法也就是我们下面的重点了 ...
分类：
编程语言 时间：
2018-03-04 15:59:20
阅读次数：
285
