码迷,mamicode.com
首页 > 其他好文 > 详细

说说字符编码的那些事儿

时间:2015-04-05 20:18:00      阅读:123      评论:0      收藏:0      [点我收藏+]

标签:

  ASCII编码,就是英文显示文字所需要的256个字符(比如,英文字母、数字、标点符号等等),每个字符用一个字节表示,即单字节编码(SBCS,char),ASCII码表定义了数值和字符的映射关系。

    ANSI在保留ASCII编码的基础上,对其进行了扩展,使用2个(或多个)字节来代表一个字符,即多字节编码(MBCS,char),它是一种泛称,要结合具体的CodePage(也称编码字符集、代码页)才能确定编码。不同国家或地区制定了不同的标准(数值与字符的映射关系),通过不同的CodePage来定义各自不同的映射关系。不同语言的操作系统,使用的CodePage不一样,比如中文操作系统ANSI代表GB2312,日文操作系统ANSI代表JIS。GBK、GB2312是定义汉字编码的2个CodePage,其中GB2312是对GBK的扩展,完整包含GBK字符集。

    UNICODE对全世界所有语言文字进行统一编码,它有2种规范UCS-2、UCS-4,一般使用UCS-2,它规定字符一律用两个字节表示,即双字节编码(DBCS,wchar)。UTF8、UTF16是UNICODE编码存储、传输方式的2种不同实现。UTF8用一个字节表达英文字母,用两个(或多个)字节表达其他语言中的字符,UTF16统一用两个字节表达一个字符(包括英文字母、其他文字),编码与UNICODE是等价的。BOM(byte order mark),即文本文件最开头的几个标识字节,用来说明编码方式,utf-8的BOM是0xef 0xbb 0xbf,utf-16le(Little Endian)的BOM是0xff 0xfe,utf16-be(Big Endian)的BOM是0xfe 0xff。

    UTF8、UTF16实际上与ANSI是同一层次上的概念,他们都是一种字符编码方式,区别在于,UTF8、UTF16使用的是UNICODE定义的一个能容纳全世界所有语言的CodePage,即UTF8、UTF16代表的是一种确定的字符编码,而ANSI则需结合具体的CodePage才能确定编码方法,所以我们在切换文件编码格式时,经常看到UTF8通常和GB2312、ISO-8859-1等CodePage以平级的形式出现。UNICODE、ASCII都可以看做是一个CodePage,定义了数值和字符的映射关系,其中ASCII码表被所有编码方式兼容,这意味着英文内容,不论以那种编码方式处理,总能被正确显示。

    CodePage不仅要定义数值和本地文字的映射关系,还要定义数值和UNICODE字符的映射关系,这样,不同的ANSI编码(CodePage),就可以通过UNICODE互相转换了。不过,这种字符编码转化,通常只有在UTF8(或其他UNICODE编码实现)与本地CodePage间进行才是有意义的,在本地CodePage与其他语言的CodePage间转化没有任何意义,文字显示和语义都是错误的。CodePage可以用数值型ID表示,也可以用字符串型name表示,注意ID和name并非是业界统一定义的,比如gb2312字符集,在VS中的名称为gb2312,而iconv中对应的名称则是cp936。

    Windows平台的API有2套,分别是unicode版和ansi版,若使用unicode版的API,要确保传入的字符串是unicode编码,若使用ansi版的API,要确保传入的字符串编码与操作系统的默认字符集编码匹配,比如简体中文操作系统下,传入的字符串必须是gb2312编码(utf8编码不行),否则中文字符就会显示为乱码,这就是一切乱码的根本原因。当你用文本编辑器打开一个文本文件时,编辑器会根据文件自身提供的信息,推测文件编码方式,然后将其转换成操作系统的默认字符集进行显示,如果编辑器推测错误则可能产生乱码,此时,你可以手工指定按哪种编码方式对文本内容进行转换。

    Visual Studio默认按ANSI编码保存和处理源文件,因此在VS中打开一个UTF8编码的源文件,中文会显示成乱码,可以通过修改VS默认编码解决此问题。要注意的是,即使把VS默认编码改成UTF8,代码中定义的字符串常量在程序执行时,仍然是按操作系统的默认字符集编码,而非源文件保存时使用的编码。比如代码中定义了一个字符串常量"中国",即使源文件是以UTF8编码保存,但在代码执行时,"中国"这个常量依然使用的是操作系统的默认字符集编码,可以通过将字符串常量输出到日志文件证实。其实这点也不难理解,程序实际运行时使用的字符串常量,来自于PE文件,而非源文件,编译器完全可以在编译阶段,将常量字符串编码进行转换(从源文件编码,转化为操作系统默认编码),然后输出到obj文件中,最终链接到PE文件里。

    最后再补充一点,WINDOWS简体中文操作系统默认使用gb2312字符集,linux(含android、mac、ios等)操作系统默认使用的都是utf8编码,这意味着linux对不同地区的语言文字有着更为广泛的支持!

 

 

1

说说字符编码的那些事儿

标签:

原文地址:http://www.cnblogs.com/ff29/p/4394514.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!