在使用hostapd做软ap时，出现了random熵不够的问题，导致节点连接不上这个ap。 下面先解释一下/dev/random和/dev/urandom 先让我们从一个工程中遇到的实际问题开始，先上log： E/hostapd ( 100): random: Cannot readfrom /de ...
分类：
其他好文 时间：
2018-12-12 10:30:47
阅读次数：
402
转自：https://blog.csdn.net/jubincn/article/details/6948334 CAVLC(Context Adaptive VariableLength Coding)是在H.264/MPEG-4AVC中使用的熵编码方式。在H.264中，CAVLC以zig-zag ...
分类：
其他好文 时间：
2018-12-12 00:27:08
阅读次数：
483
最大熵原理 承认已知事物（知识），对未知事物不做任何假设，没有任何偏见 最大熵存在且唯一（凸性） 概率平均分布等价于熵最大 最大熵模型的一般式 关于条件分布 P(Y|X)的熵为： 去掉负号，得到最大熵模型的等价式 MaxEnt 模型最后被形式化为带有约束条件的最优化问题，可以通过拉格朗日乘子法将其转 ...
分类：
其他好文 时间：
2018-12-10 11:27:31
阅读次数：
243
定义 熵是从整个集合的统计特性所考虑的 表示信源输出前信源的平均不确定性 表示信源输出后每个符号携带的平均信息 I(p)只能表示信源中每个符号的信息量，不能作为信源总体的信息量 公式: H(x) = E(log 1/p(ai)) = -∑p(ai) log p(ai) 自信息 发出的消息所携带的信息 ...
分类：
其他好文 时间：
2018-12-06 12:05:24
阅读次数：
307
一、通俗解释 熵是衡量“信息量“大小的一个数值。什么叫”信息量“？举个例子。 假设你现在玩一个猜硬币正反面的游戏，有个人扔一次硬币，你猜正反面，猜对了可以拿100块钱，猜错了就没有钱。 现在有一个能预知未来的人，他知道本次抛硬币的结果，并且他愿意告诉你，只要你给他一定数量的钱。 那么在如下四种情况下 ...
分类：
其他好文 时间：
2018-12-05 13:24:11
阅读次数：
255
假设函数： 更为一般的表达式： （1） 似然函数： （2） 对数似然函数： 如果以上式作为目标函数，就需要最大化对数似然函数，我们这里选择最小化负的对数似然函数 （3） 对J(w)求极小值，对求导 （4） 上述中 表示第i个样本的第j个属性的取值。 于是的更新方式为： （5） 将（5）式带入（4）式 ...
分类：
编程语言 时间：
2018-12-03 01:01:55
阅读次数：
1561
一、神经网络1.为了进行梯度下降，误差函数不能是离散的，而必须是连续的。误差函数必须是可微分的。同时，要将离散预测变成连续预测，方法是将激活函数从阶跃函数变成S函数。 2.最大似然法：选出实际发生的情况所对应的概率更大的模型。 3.交叉熵(损失函数)：将得到的概率取对数，对它们的相反数进行求和。准确 ...
分类：
其他好文 时间：
2018-11-26 22:09:27
阅读次数：
260
比特化(Bits) 假设存在一组随机变量X，各个值出现的概率关系如图；现在有一组由X变量组成的序列: BACADDCBAC.....；如果现在希望将这个序列转换为二进制来进行网络传输，那么我们得到一个得到一个这样的序列:01001000111110010010....... 结论: 在这种情况下，我 ...
分类：
其他好文 时间：
2018-11-25 22:14:50
阅读次数：
313
原文：Shannon Entropy, Information Gain, and Picking Balls from Buckets 参考视频：Information Entropy 在1948年，Glaude Shannon发表了文章《A Mathematical Theory of Comm ...
分类：
其他好文 时间：
2018-11-25 13:27:10
阅读次数：
216
1. 前言 在约束最优化问题中，常常利用拉格朗日对偶性将原始问题转化为对偶问题，通过求解对偶问题获得原始问题的解。该方法应用在许多统计学方法中，如最大熵模型、支持向量机。 2. 原始问题 假设$f(x),c_i(x),h_j(x)$是定义在$R^n$上的连续可微函数。考虑如下最优化问题 $$ \mi ...
分类：
其他好文 时间：
2018-11-18 20:30:23
阅读次数：
210
