梳理各种编码

标签：unicode   二进制   编码   

一直以来对各种编码都模糊不清，这几天比较闲，就来梳理一下。

文章是对blog.csdn.net/u013480667/article/details/43916537的整理，再加入自己的一些理解。

1.ASCII码

ASCII码是上个世纪60年代，美国制定的一套字符编码，对英语字符与二进制位之间的关系，做了统一规定。

ASCII码是一个字节，8位，即8个二进制码，对应着256种状态，即256个字符，但ASCII码一共占用了128个字符，最前面一位规定为0.

2.ASCII码扩展

128中字符在英语中是够用的，但是在其他国家就不够用了，于是其他国家就把剩余的128种进行了扩充，导致了在不同的编码方式中，前128种字符是一样的，后128种不同

3.GB2312

对于中国来说，256个字符是远远不够，所以我们把127之后的字符取消，规定小于127的字符和原来相同，用两个大于127的字符连在一起表示一个汉字，前面一个字节（高字节）从0xA1到0xF7，后面一个字节（低字节）从0xA1到0xFE（暂时还不清楚为什么这个范围），这样的组合大约有7000多个，这些编码中，还将数学符号，罗马希腊的字母，日文的假名，以及原来ASCII中本来就有的字母，数字，标点进行了重新的两个字节的编码，这就是“全角”字符，原来在127号之前的就是“半角字符”。

这种编码就叫做GB2312。GB2312是对ASCII的中文扩展。

4.GBK

由于扩充的GB2312还是不够用，所以只要第一个字节大于127就表示是一个汉字的开始，后面的字节可以是大于或者小于127，扩展之后的编码旧叫做GBK标准，GBK包括了GB2312，同时又增加了近20000个新的汉字和符号。

5.GB18030

在GBK的基础上又进行了扩充，加入了几千个新的少数民族的字，这旧是GB18030.

以上GB2312，GBK，GB18030通称为“DBCS”（Double Byte Charecter Set 双字节字符集）。最大的特点是两个字节长的汉字字符和一个字节长的英文字符共存于一套编码，小于127是单字节，大于127旧是双字节字符集里的字符出现了。

6.UNICODE

不同的DBCS编码方案导致了不同编码之间的交流困难。ISO（国际标准化组织）便制定了UNICODE，即“Universal Muktipke-Octet Character Set”，简称UCS。

ISO规定UNICODE必须用两个字节表示所有字符，对于ASCII中的半角字符，即小于127的字符，UNICODE只是将其长度由原来的8位扩展位16位（高8位全部是0）。

UNICODE和GBK的转换必须通过查表进行。

但是UNICODE的存储方式是有多种的。

7.UTF-8

由于互联网的普及，就需要考虑UNICODE的传输方式。UTF-8就是UNICODE的一种实现方式。即每次8个位传输数据。其他方式还有UTF-16，UTF32。

UTF-8是一种变长的编码方式，使用1-4个字节表示一个符号。

UTF-8的编码规则很简单，只有二条：

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。

2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。

下表总结了编码规则，字母x表示可用编码的位。

Unicode符号范围 | UTF-8编码方式
(十六进制) | （二进制）
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

下面，还是以汉字“严”为例，演示如何实现UTF-8编码。

已知“严”的unicode是4E25（100111000100101），根据上表，可以发现4E25处在第三行的范围内（0000 0800-0000 FFFF），因此“严”的UTF-8编码需要三个字节，即格式是“1110xxxx 10xxxxxx 10xxxxxx”。然后，从“严”的最后一个二进制位开始，依次从后向前填入格式中的x，多出的位补0。这样就得到了，“严”的UTF-8编码是“11100100 10111000 10100101”，转换成十六进制就是E4B8A5。

8.其他

8.1 Little endian 和 Big endian

UNICODE用两个字节存储，严的UNICODE码是4E25，大端存储方式是4E25，小端存储方式是254E。

为了让计算机知道文件到底采用哪一种方式编码，UNICODE中规定，每一个文件最前面加入一个表示编码顺序的字符，这个字符的名字叫做”零宽度非换行空格“（ZERO WIDTH NO-BREAK SPACE），用FEFF表示。这正好是两个字节，而且FF比FE大1。

如果一个文本文件的头两个字节是FE FF，就表示该文件采用大头方式；如果头两个字节是FF FE，就表示该文件采用小头方式。

8.2 windows中的ANSI编码方式，是指的默认的编码方式，对于英文文件是ASCII编码，对于简体中文文件是GB2312编码（只针对简体中文版，如果是繁体中文版会用Big5码）。

附：

ASCII码表

汉字UNICODE对应编码表www.chi2ko.com/tool/CJK.htm

梳理各种编码

标签：unicode   二进制   编码   

原文地址：http://blog.csdn.net/u013480667/article/details/43918409