码迷,mamicode.com
首页 > 其他好文 > 详细

[老文章搬家] 关于 Huffman 编码

时间:2016-05-31 15:33:02      阅读:131      评论:0      收藏:0      [点我收藏+]

标签:

按:去年接手一个项目,涉及到一个一个叫做Mxpeg的非主流视频编码格式,编解码器是厂商以源代码形式提供的,但是可能代码写的不算健壮,以至于我们tcp直连设备很正常,但是经过一个UDP数据分发服务器之后,在偶尔有丢包的情况下解码器会偶发崩溃,翻了翻他们的代码觉得可能问题出在Huffman这一块。水平有限也没有看太懂他们的源码,而且我也不是科班出身当时对Huffman编码算法只是知道这么个名字,还好服务端软件那边做了修改,解决了丢包的问题。在回家过年的火车上想起这件事,阅读了一些关于Huffman编码的资料,算是对这个东西有了些通俗的认识,记在这里以防遗忘或者智力萎缩。
 
Huffman编码,是一种压缩编码算法,它利用“出现频率最大的信息应该用最短的码元来表示”这一原理对信息进行压缩。使用这种原理的编码算法统称“熵编码”。为了解释清楚Huffman编码的原理,我得先定义一些概念:
 
信息(Message)
含有某种语义的单元。比如拿常用的文本传输举例子,‘a‘就是个信息,它表示字母a,或者不定冠词a,又或者A片。总之它有一个预先定义的语义。
 
信息序列(Message Sequence)
信息排列组合组成的串。就像英文一样,光有字母是不行的,因为字母只有26个,但是单词有几百万个,所以要用字母的排列组合来构成单词,比如apple,再比如<a href="http: baike.baidu.com="" view="" 657095.htm?source="www.willlong.com"">这个单词。然后我们还用单词加空格组成句子来表达更复杂的意思(信息),比如"son of bitch",这也是一个序列
 
符号(Symbol)
我们用电子设备来传输信息,但是设备不认识信息,只认识电平,1和0。0和1被叫作符号。
PS: 据说中国有个教授研究能表达3个状态的量子逻辑,成果还挺厉害的,不知道靠谱否。
 
符号序列(Symbol Sequence)
同样,光有符号也是不行的,因为符号只有两个(0,1),消息却有很多,比如字母有26个,所以要用符号的排列组合来表示信息,继而表示出信息序列。比如你去内存里看C字符串"son of bitch",就是0和1组成的符号序列。
 
编码(Message Code)
对于一个信息/信息序列M,用一个符号序列C来表示,在这个映射中,我们称C为M的编码/编码序列(同时,我们不妨把这个映射的过程叫做编码,不会产生歧义)。
有了上面这些概念,我们很容易推知,在单位符号传输时间恒定的情况下,传输同样的消息,肯定是生成的编码序列越短,花费的时间就越短。那么为了提高传输效率,我们有必要找到一种编码算法,使得一个有限长信息序列编码生成的符号序列尽可能的短,大神Shannon称之为“最小冗余编码(minimum-redundancy code)”——事实上Shannon的定义和我这里不太一样,我这是山寨解释。另外为了解码需要,一个可行的编码算法还要符合两个基本限制
 
1.不同的信息不能编出同样的码,这个是天经地义的,不需要解释。
2.不需要额外的说明就能确定信息编码之间的界限,从这个条件引申,我们可以将其解释为不能有一个编码C1是另一个编码C2的前k位(也叫前缀k——kth prefix),比如01表示a,011表示b就是不合法的,因为给定符号序列011,如果没有额外说明,没法确定是a加上一个1还是b。虽然没有什么逻辑联系,但是看到第二条我就想到为什么大家都喜欢配置文件而不是xml,尤其是手写解析器的情况下。

进一步考虑,假设待编码序列中的信息空间有N种取值,用1到N表示,P(n)为消息n出现的频率(因为是已知序列,所以是频率而不是概率),L(n)为消息n编码后的长度,C(n)为消息n的编码。我们可以得到另外一些结论,首先,有:
    如果 P(1)<=P(2)<=...<=P(N)
    那么 L(1)>=L(2)>=...>=L(N)

也就是说,频率小的信息编码之后不能比频率大的信息更短,因为如果不这样的话,我们只要简单的互换两个信息的编码,就能减小编码序列的长度。然后我们再考虑L(N-1)和L(N),假设L(N-1)=4,那L(N)是几?显然根据刚得出的结论L(N)不能小于4,那能不能是比4大,比如5?如果真等于5的话,根据前面的限制2,C(N)的前4位必然没有在编码空间中出现过,那第5位还有必要么?显然没有了,我读到第4位就知道一定是N了,还要第5位干什么?L(N)不能比4小,也不能比4大,那只能是4,也就是说,结论是L(N)=L(N-1)。

 

[老文章搬家] 关于 Huffman 编码

标签:

原文地址:http://www.cnblogs.com/legendlee/p/5545622.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!