转自：https://blog.csdn.net/tsyccnh/article/details/79163834 关于交叉熵在loss函数中使用的理解交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用 ...
分类：
其他好文 时间：
2019-04-18 00:45:09
阅读次数：
983
问题： 我们在讨论的时候，利用最前面的性质 ，是部分信息， 是信源熵，可是没有关心 是怎么来的？？ 是因为有噪声系统信道传递矩阵的除开对角线以外的元素才不等于0要是没有噪声，就压根没有引进H(X|Y)的必要。 （信道传递矩阵定义参考p75面） 有一点值得特别提出，（书上p71面）对于无干扰信道的定义 ...
分类：
其他好文 时间：
2019-04-12 00:53:26
阅读次数：
187
0.决策树 决策树是一种树型结构，其中每个内部节结点表示在一个属性上的测试，每一个分支代表一个测试输出，每个叶结点代表一种类别。 决策树学习是以实例为基础的归纳学习 决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一棵熵值下降最快的树。到叶子节点的处的熵值为零，此时每个叶结点中的 ...
分类：
其他好文 时间：
2019-04-04 21:52:33
阅读次数：
1128
Cassandra如何保证数据最终一致性：1、逆熵机制(Anti-Entropy)使用默克尔树(Merkle Tree)来确认多个副本数据一致，对于不一致数据，根据时间戳来获取最新数据。 2、读修复机制(Read Repair)当Cassandra读数据时，需要根据读一致级别设定读取N个节点的副本数 ...
分类：
其他好文 时间：
2019-03-15 00:55:03
阅读次数：
376
树模型主要有ID3、C4.5、C5.0、OC1以及CART等，使用最多的树模型为CART，sklearn中的决策树模型是基于CART的。 在介绍树模型之前先介绍一下信息熵、信息增益以及GINi系数。 信息熵：熵度量了事物的不确定性，越不确定的事物，它的熵就越大。 信息增益：它度量了在知道当前特征之后 ...
分类：
其他好文 时间：
2019-03-14 20:06:38
阅读次数：
527
1.字符串表示使用单引号、双引号、三引号，不可以混搭 2. 数字（加、减、乘、除、余、熵、幂） ...
分类：
编程语言 时间：
2019-03-14 00:17:47
阅读次数：
223
机器学习的面试题中经常会被问到交叉熵(cross entropy)和最大似然估计(MLE)或者KL散度有什么关系，查了一些资料发现优化这3个东西其实是等价的。 熵和交叉熵 提到交叉熵就需要了解下信息论中熵的定义。信息论认为： 确定的事件没有信息，随机事件包含最多的信息。 事件信息的定义为：$I(x) ...
分类：
其他好文 时间：
2019-03-13 18:02:58
阅读次数：
265
[TOC] 信息和熵 ? 飞翔的猪o 说明：本文是作者在看了weixin公众号【超智能体】录制的学习视频后的总结，有需要请移步公众号【超智能体】，利益无关，良心推荐。大多数教材都将信息和熵混为一谈，统称为信息熵，这其实是不恰当的，因而有了这篇文章的诞生。 定义熵和信息 定义熵之前，首先说明什么是宏观 ...
分类：
其他好文 时间：
2019-03-08 22:06:02
阅读次数：
290
" " " " 介绍了分布函数和概率密度，函数特点． " " " " " " 这里的逻辑斯谛回归模型就是为了将实数范围映射到(0,1)范围上．即将线性函数外套上sigmoid函数． https://blog.csdn.net/hfutxiaoguozhi/article/details/788439 ...
分类：
其他好文 时间：
2019-03-08 16:38:05
阅读次数：
179
一、编写计算历史数据的经验熵函数 In [1]: from math import log def calcShannonEnt(dataSet): numEntries = len(dataSet) labelCounts = {} for elem in dataSet: #遍历数据集中每条样本 ...
分类：
编程语言 时间：
2019-02-25 16:37:39
阅读次数：
218
