码迷,mamicode.com
首页 > 其他好文 > 详细

数学中的熵-相关问题

时间:2019-01-09 01:25:55      阅读:241      评论:0      收藏:0      [点我收藏+]

标签:最小   随机数   过多   sigma   区间   rac   利用   猜数字   游戏   

1. 猜数字游戏

A 写下一个数 $x$,其取值范围为 $x\in [1,n]$,B 来猜这个数字是多少,A 会告诉 B 猜的数字比 $x$ 大了还是小了,问 B 最少猜多少次可以猜出这个数字?

把 $x$ 看作一个随机数,他的取值范围是$[1,n]$,B 第一次任意猜一个数,猜中的概率是 $P(x) = \frac{1}{n}$。利用数学中的熵的定义,B 猜中的熵是
$$S_{x\in[1,n]} = -\Sigma_{x\in[1,n]}{P(x)\log_2 P(x)} = \log_2 n$$

假如 B 第一次猜的数是 $y$,则 $P(x\in[1,y]) = \frac{y}{n}$,$P(x\in(y,n]) = \frac{n-y}{n}$, 则 条件熵(给定条件下的熵)为 $$S_1 = P(x\in[1,y])S_{x\in[1,y]} + P(x\in(y,n])S_{x\in[y,n]}\ =\frac{y}{n} \log_2 y +\frac{n-y}{n}\log_2 (n-y)$$

求 $y$ 取何值时,熵最小?
$$\frac{dS_1}{dy} = 0\rightarrow y = \frac{n}{2}$$

所以每次都猜一个区间的中间值是最优的选择。由于 A 会告诉 B 两种状态,因此 B 只需要猜 $\lceil\log_2 n \rceil$ 就可以猜出 A 给定的数。n 代表可取的状态数,2 代表给定信息的个数

2. 排序问题

有 $n$ 个互不相等的数,需要通过多少次比较才可以将这些数从小到大排序?

比较两个数 $a,b$ 的大小有两种状态,所以对数的底应取为 2,n 个数排序的方式,即可取的状态数为 $A_n^n = n!$,所以需要比较 $\lceil(\log_2 n!)\rceil$ 次。

3. 猜球问题

有 n 个球,其中有一个球与其他 n-1 个球的重量不一样,现在有一个天平,问需要称多少次可以找出这个球?

天平有三种状态,故对数的底应为3,n 个球要么重了要么轻了,故有 2n 中状态数,所以需要称 ($\lceil\log_3 2n\rceil$) 次可以找出这个球。

数学中的熵-相关问题

标签:最小   随机数   过多   sigma   区间   rac   利用   猜数字   游戏   

原文地址:https://www.cnblogs.com/wale2016/p/10242126.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!