整理自： https://blog.csdn.net/woaidapaopao/article/details/77806273?locationnum=9&fps=1 各种熵的计算 常用的树搭建方法 防止过拟合—剪枝 前剪枝的几种停止条件 1.各种熵的计算 熵、联合熵、条件熵、交叉熵、KL散度（相 ...
分类：
其他好文 时间：
2018-05-09 19:41:05
阅读次数：
209
从香农的信息熵谈其起，再聊聊逻辑回归和softmax； ...
分类：
其他好文 时间：
2018-05-07 22:47:01
阅读次数：
147
Tensorflow交叉熵函数：cross_entropy 注意：tensorflow交叉熵计算函数输入中的logits都不是softmax或sigmoid的输出，而是softmax或sigmoid函数的输入，因为它在函数内部进行sigmoid或softmax操作 tf.nn.sigmoid_cro ...
分类：
其他好文 时间：
2018-05-05 15:26:04
阅读次数：
253
我们以是否买房为例子给大家介绍一下决策树算法的使用，数据集如下（仅做演示，不代表真实情况）地段近地铁面积单价（万）是否购买三环是608是三环是808否三环否607是三环否807否五环是607是五环是807否五环否606是五环否806是六环是606是六环是805.5是六环否605否六环否805否从上表中我们可以看到，确定可以购买的数量有7个，不购买的数量有5个，共数是12个。按信息熵的计算公式我们可
分类：
系统相关 时间：
2018-05-02 23:11:17
阅读次数：
205
引言 (废话) 我们经常说的“信息量太大了”，其中的”信息量“到底如何度量？ Claude Elwood Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”。 这个概念现在看着很简单易懂，但是开创性地提出这样的概念不是容易的事情。 1 Entropy 熵 熵(entr ...
分类：
其他好文 时间：
2018-05-01 17:43:49
阅读次数：
160
①关于软件的熵及“破窗户”理论 由于软件在开发过程中也是趋向于熵增加的，因此我们需要想办法抑制程序趋向于无序性，趋向于腐烂。而最为关键的一点就是不要容忍“破窗户”，即不好的书写风格或检查出来的小bug。 因为，当程序整体都很完美时，没有人忍心去破坏这种美，任何操作都小心翼翼，尽量使自己的书写符合整体 ...
分类：
其他好文 时间：
2018-04-28 01:27:43
阅读次数：
140
Inception Score是衡量生成模型的个体特征和整体特征的方法。 个体特征：同一个GAN生成的图片应该属于一个类别，所以我们使用imageNet训练处理的Inception model,对图像进行分类，所以同一类的图像一个在某一类不确定性小，熵比较小。 整体特征：生成的图像要有多样性，即使他 ...
分类：
其他好文 时间：
2018-04-25 21:01:54
阅读次数：
742
第三章 统计语言模型 1 用数学的方法描述语言规律 普遍描述：假定S表示某一个有意义的句子，由一连串特定顺序排列的词w1,w2,...,wn组成，(这里应该是特征列表)这里n是句子的长度。现在，我们想知道S在文本中出现的可能性，也就是数学熵上所说的S的概率P(S)。 马尔可夫假设后， 2 延伸阅读： ...
分类：
其他好文 时间：
2018-04-24 20:17:36
阅读次数：
442
1. 欧氏距离(Euclidean Distance) 欧氏距离是最容易直观理解的距离度量方法，我们小学、初中和高中接触到的两个点在空间中的距离一般都是指欧氏距离。 二维平面上点a(x1,y1)与b(x2,y2)间的欧氏距离: 三维空间点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离: ...
分类：
其他好文 时间：
2018-04-24 17:35:43
阅读次数：
528
数据压缩的性能指标 压缩比： 越大越好 压缩质量 无损压缩 有损压缩 主观评分 客观尺度 均方误差 峰值信噪比 压缩速度和解压缩速度 大多数15 全动态25-30 在电话线上传送视频，因受线路传输的限制，帧率要求没有那么高，但也要求达到每秒5帧以上 数据冗余类型 空间冗余 时间冗余 信息熵冗余 视觉 ...
分类：
其他好文 时间：
2018-04-24 00:24:42
阅读次数：
205
