/dev/random和/dev/urandom是内核随机数源设备，用于产生随机数。产生随机数的原理是利用当前系统的熵池来计算出固定一定数量的随机比特，然后将这些比特作为字节流返回。熵池就是当前系统的环境噪音，熵指的是一个系统的混乱程度，系统噪音可以通过很多参数来评估，如内存的使..
分类：
其他好文 时间：
2017-10-30 21:06:40
阅读次数：
146
一. 信息论背景 信息论的研究内容，是对一个信号包含信息的多少进行量化。所采用的量化指标最好满足两个条件： （1）越不可能发生的事件包含的信息量越大； （2）独立事件有增量的信息（就是几个独立事件同时发生的信息量等于每一个信息量的和）。 遵循以上原则，定义一个事件$\mathsf{x}=x$的自信息 ...
分类：
其他好文 时间：
2017-10-29 16:43:53
阅读次数：
268
作者：知乎用户链接：https://www.zhihu.com/question/41252833/answer/108777563来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 熵的本质是香农信息量()的期望。 现有关于样本集的2个概率分布p和q，其中p为真实分布， ...
分类：
其他好文 时间：
2017-10-27 13:27:04
阅读次数：
124
在之前的决策树算法中我们已经讲解了从数据集构造决策树算法的功能模块。 首先是创建数据集，然后计算香农熵，然后基于最好的属性值划分数据集，由于特征值可能多于两个，因此可能存在大于两个分支的数据集划分。第一次划分好之后，数据将被向下传递到树分支的一个节点，在这个节点上我们可以再次划分数据，所以我们可以采 ...
分类：
编程语言 时间：
2017-10-20 20:22:42
阅读次数：
230
http://www.jianshu.com/p/75f7e60dae95 作者：陈迪豪 来源：CSDNhttp://dataunion.org/26447.html 交叉熵介绍 交叉熵（Cross Entropy）是Loss函数的一种（也称为损失函数或代价函数），用于描述模型预测值与真实值的差距大 ...
分类：
编程语言 时间：
2017-10-20 18:43:50
阅读次数：
192
决策树／判定树：是一个类似于流程图的树结构，其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布。树的最顶层是根结点。 熵（entropy）概念：信息量的度量就等于不确定性的多少。一条信息的信息量大小和它的不确定性有直接的关系，要搞清楚一件非常不确定的事情 ...
分类：
其他好文 时间：
2017-10-18 00:28:58
阅读次数：
184
0 前言 上课的时候老师讲到了信息论中的一些概念，看到交叉熵，这个概念经常用在机器学习中的损失函数中。 这部分知识算是机器学习的先备知识，所以查资料加深一下理解。 Reference: 信息熵是什么，韩迪的回答：https://www.zhihu.com/question/22178202 如何通俗 ...
分类：
其他好文 时间：
2017-10-15 21:22:47
阅读次数：
383
1、Recursive Nerual Networks能够更好地体现每个词与词之间语法上的联系这里我们选取的损失函数仍然是交叉熵函数 2、整个网络的结构如下图所示: 每个参数的更新时的梯队值如何计算,稍后再给大家计算相应的数学公式 这里先列出节点的合并规则 1、即假设将一句话中的词先两个合并，并通过 ...
分类：
编程语言 时间：
2017-10-06 23:10:00
阅读次数：
334
这个问题需要从熵谈起， 根据香浓理论，熵是描述信息量的一种度量，如果某一事件发生的概率越小，也就是不确定性越大，那么熵就越大，或者说是信息量越大。 比如说，我们现实生活中，经常会有这样的场景，比如明星某薛，平时在我们这些吃瓜群众面前是一个人品极高，形象特别好，没有任何负面新闻，迷妹也是一波一波的。b ...
分类：
其他好文 时间：
2017-10-04 14:24:30
阅读次数：
365
曾经被问，Logistic回归为什么用sigmoid函数。一时语塞······ Logistic回归采用sigmoid函数与最大熵有关。 是训练数据，是n维向量。是对应的label，取值集合为{0,1,...,k-1}，在Logistic回归中，k=2。是我们要去学习的概率函数，如将计算出将x分为类 ...
分类：
其他好文 时间：
2017-10-04 00:23:32
阅读次数：
171
