码迷,mamicode.com
首页 > 其他好文 > 详细

信息熵(Entropy)究竟是用来衡量什么的?

时间:2014-10-30 22:10:27      阅读:245      评论:0      收藏:0      [点我收藏+]

标签:http   io   ar   使用   java   sp   strong   div   on   

 
  

信息熵(Entropy)究竟是用来衡量什么的?

——与Philip ZHANG商榷

思明

    

  Philip ZHANG先生在反驳彭小明的时候,提出一个观点,他说:“ 就语言文

字来说,总体效率不是用民族主义来衡量的,而是用信息熵(Entropy)来衡量

的。”

  张先生介绍说:

  计算文字效率的基本公式是:

  H=-log2(P)

  H 为信息熵的值(或叫信息量),单位是比特(bit)。

在这基点上,他依据资料引证:

  英文的平均信息熵是 4.03 比特,

  法文的平均信息熵是3.98,

  西班牙文的是 4.01,

  德文的是 4.10,

  俄文的是 4.8,

  而中文的平均信息熵是 9.65比特

  于是,“汉字是落后的,不管是简体还是繁体”就成了他轻松得到的结论。

  事实上,要反驳他的结论是一点也不困难的,甚至能够说是很轻松的——仅仅要

知道什么是一种文字的“平均信息熵”。

  仅仅可惜,张先生把方向正好弄错了180度。

  公式是有的,叫做平均信息熵也确实。可是根本就不是文字效率的基本公式,

而是在通讯中编码的码长的效率!提出这公式,申农是用以研究信息编码的。说得

通俗一点,就是要(在可能有噪音的情况下)把已方(信息源)的信息进行标准化

编码(比方,0-1化),然后传送出去,对方接收,解码,恢复成原来的信息。

  研究的重点,是多长的一组码为合理——假设太短,无法正确还原,假设太

长,就有冗余。

  在接下去谈曾经,先要强调,是码长的节约或冗余,不是信息本身的节约或冗

余。例如说,假设拿尽用分币买东西,分币已经多得非常,钱却不一定够。这是两回

事。

  以英语为例,信息源集合大体是26个字母加上一个空格,这是基本集合。要传

送给不论什么对方(比方用莫尔斯电码),码长要几位“0-1”?满打满算,是五位。

  要是用“平均信息的观点”来研究处理,会发现:有些字母出现得常常,另外

一些比較不经经常使用,所以信息源是有点特征的,这特征就是信息含量不“饱满”。

通俗地说,假设英文字母中仅仅有一部分经常使用,其它罕用,通过巧妙编码能够把码长

缩为4个多一点点。实际上因为眼下通讯瓶颈已经不像半世纪曾经那样重要,电脑

里的正规编码方案全是冗余方案,并无人真正採用紧缩方案,连考虑的价值也没

有。

  那么如何计算信息量又是怎么回事呢?

  以电脑的0-1编码方法为例,假设“0”和“1”以均等机会出现,P就是1/2,

对数就是-1,H就是1。因此它的信息含量就是1个比特(bit)。假设出现得不均

匀(比方说基本是“0”出现,偶尔才有“1”出现),那么“0”的P值接近于1,

其对数自然接近于0;另外的“1”的P值接近于0,对数就接近于负无穷,经过加权

平均,(这样的无穷乘以0的极限,自然能够用(数学上的计算)方法求出)信息比1

个比特(bit)更小。

  因此,不论什么一组码的元素(比方英文字母),在最有效使用的情况下,能够传

达的信息量最大,等于log2(N)(以源代码的元数为N,比如英文的满荷值为4.75;

俄文为5.08;依照中文的字数,小字库为12多,大字库为14多。等等)。

  大家知道,英文字母平均信息熵是 4.03 比特,说明它有一点“浪费”(由于

2的4次方是16,这仅仅相当于均匀使用了16个字母)。假设英文的“平均信息量”少

到1或者2,就相当于仅仅有两个或者四个字母了。所以张先生对英文的表扬可真的一

点意义没有。

  那么,如果我们的祖先造的汉字仅仅用了非常少的部分,平均信息熵就会非常小,比

如,要是仅仅用“是,不”二字而其它文字统统不用,那就仅仅要有一个比特就够。

  张先生以为“平均信息熵”越少越好,是犯了一个“方向的错误”。可见,张

先生在信息科学上的知识是多么脆弱,多么不精确!用这种东西作为“证据”,

要我们信改革有几千年历史的汉字非常是必要,太不负责!

  张先生又引用说:

  本世纪四十年代,申农和霍夫曼等科学家提出了信息熵理论和方法,基本定理

是:在一种非扩展的无记忆信息源中,字符编码的长度不能小于信息源的熵。这个

定理适合全部的语言文字,是计算机和网络通讯的科学技术基础和project设计的基本

根据。

  这句话全对。不知道张先生是哪里引用来的,可是张先生显然不理解其含义。

这话说明的是什么?原来,这只是是说,由于英文的平均信息熵是4多一点,因此

作为通讯用的英文字符集的有用长度也至少要有那么长。德文和俄文的字母比英文

多几个,它们多含一点信息量是正常的。德国人之不修改字母,绝对不是由于信息

量多还是少的缘故。多更不是坏事。事实上,大家知道在电脑里英文字母、德文、俄

文统统用的是8位(8比特)。8位的满存储是256个字符,大家相聚在一起,谁多用

谁少用,不会去斤斤计较。德国人也读英文,俄国人也用德文,更没有人用它来比

较“语言的优劣”。

  中文,一開始是用了双字节的(即16比特),满存储是6万多,如今中文用了

约1/3(当然其它文种还要用)。这和中文的效率并无直接的联系。假设,用一个

汉字表达的“意思”的量,假设(平均起来)和一个英文字母一样多,那汉字就真

太落后了!

  真是这样?我们的汉字真会这么落后?比方“我”是两个字节,“I”是一

个字节。这就是中文不如英文的“唯一样例”了。可是“人、是、起、而、日、

月、用、无、……”这几百成千个单字(严格说全部汉字)英文里都仅仅要一个字母

吗?不是。英文的字母仅仅有26个,充其量仅仅能有这26个比中文好——可惜英文的单

字母词仅仅有一个“I”,一个“a”(意义太简单,还无独立使用权)其它的(比如

of,on,to,we,me,go,……)能和汉字打平就好。请注意,在用26个字母构成

的676种二字母组合中,有意义的少之又少(比方aa,ab,ac,ad,ae,……就几

乎全无意义)。所以,假设有人用汉字对照英文(在相同意义的词汇)的byte数,

十有八九汉字要“节约”得多!

  自然英文通过制造缩写的办法攻克了不少问题——UN,USA,WTO,所以说汉字

绝对优越也要慎重。

  最最可笑的是,假设要依照“用拼音”的建议把中文翻译成拼音(即使那声调

的符号省去、词汇连写等方法全用上),那byte数要大大添加了,尽管那“平均信

息熵”或许还减少了(总不超过5)。打个例如,改用拼音的张先生能够告诉别

人,我的平均信息量已经减少到4多一点(就是说‘我如今最终仅仅要用一分的硬币

买东西了,尽管我每年的开支因此添加了三倍,我才不在乎!’)。由于拼音里除

了a、e以外,是不许单独字母成字的,就是a、e,还留空格。所以假设说要用拼音

作文字,在浪费字节上是天下第一的“文字”——看不易懂还暂且不说!在这个意

义上说,“从一九八九年開始,《人民日报》等报刊就用相同的手法抨击中文改

革,连续发表文章鼓吹‘汉字优越’,说中文改革是盲目西化和导致中国文化传统

消亡,等等。”真是做得对极了,好极了!

  张先生又说:

  中文的平均信息熵是 9.65比特,在计算机信息作业的时候,汉字的每一个字符

需》要两个字节的空间,因而中文的信息处理和传递的总体效率比英文等拼音文字

的效率要低得多。

  这是全然违背基本常识的。套用他的汽车比喻,这好像是说:“独轮车无疑比

12轮大卡车节省10倍,走的路仅仅有1/10”;又好比说“用一元钱的钞票买东西比用

五角钱的贵一倍”;等等……

  虽然我们已经说明汉字实际上比英文和其它拼音文字仅仅简不冗(从占用字节数

的角度看),语言学上的问题仍然相当复杂,谁简谁繁似乎也还难以成为一种语言

优劣的绝对定论。比方世界语、数学语言、电脑的汇编,显然都极简单并且规范,

但是要取代自然的生活语言明明是不行的。这个问题我们暂且不讨论。

  张先生的文章还存在很多其他问题,比方他说:

  无论谁在使用和在哪里使用,也无论使用者的民族感情怎样,这些文字的信息

熵还是它们的信息熵。

  他根本就不知道,除了整个“民族”的平均信息熵以外,人人的语言都有其独

特的信息熵。比方“不高兴”先生,碰到事情一般都是不高兴;总说“喳”的太

监,他们的语言中的平均信息熵都非常小。相同的字符集而熵小,这绝对不是什么先

进,是贫乏。

  附带说一句,张先生犯的这个错误,国内某一派的“著名语言学家”在十多年

前已经犯过,也被人尖刻批评过。他们既无法理解(大概对于数学绝缘)也不吱

声,以至于十年过去后,他们的文改信徒还不断反复这错误。可悲又可叹,若把语

言文字工作交给这等“既不内行又不热心”的人!


[中国研究/zgyj1999/xiamian.htm]

信息熵(Entropy)究竟是用来衡量什么的?

标签:http   io   ar   使用   java   sp   strong   div   on   

原文地址:http://www.cnblogs.com/gcczhongduan/p/4063617.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!