标签：
第11节 ANSI编码
为使计算机支持更多语言，通常使用 0x80~0xFF 范围的 2 个字节来表示 1 个字符。比如：汉字 ‘中‘ 在中文操作系统中，使用 [0xD6,0xD0] 这两个字节存储。
不同的国家和地区制定了不同的标准，由此产生了 GB2312、GBK、GB18030、Big5、Shift_JIS 等各自的编码标准。这些使用多个字节来代表一个字符的各种汉字延伸编码方式，称为 ANSI 编码。在简体中文Windows操作系统中，ANSI 编码代表 GBK 编码；在繁体中文Windows操作系统中，ANSI编码代表Big5；在日文Windows操作系统中，ANSI 编码代表 Shift_JIS 编码。
不同 ANSI 编码之间互不兼容，当信息在国际间交流时，无法将属于两种语言的文字，存储在同一段 ANSI 编码的文本中。
ANSI编码表示英文字符时用一个字节，表示中文用两个或四个字节。
第12节 全角和半角
全角（大陆、日本、韩国称全角；台湾、香港称全形；也称全宽或全码）和半角（大陆、日本、韩国称半角；台湾、香港称半形；也称半宽或半码），是计算机中，中、日、韩文的CJKV字符的显示格式。
传统上，英语或拉丁字母语言使用的电脑系统，每一个字母或符号，都是使用一字节的空间（一字节由8位元组成，共256个编码空间）来储存；而汉语、日语及韩语文字，由于数量大大超过256个，故惯常使用两字节来储存一个字符，在使用固定宽度文字的地方（如DOS、部分文字编辑器等），为了使字体看起来齐整，英文字母、数字及其他符号，也由原来只占一个字空间，改为一概占用两个字的空间来显示，并且使用两个字节来储存。所以，中、日、韩等文字称为全形字符，相比起来，拉丁字母或数字就称为半形字符。
JIS X 0201编码表把日语的片假名放进一字节的空间，故又称为“半角片假名”。
半形假名
半形假名（日文：半角カナ）是对 JIS X 0201 标准收纳的片假名、几个基本日文标点符号（日文：句読点 或 約物）、浊点和半浊点的统称。其包含日文的最基础符号，能以最简约的方式表达日语。每个“半形假名”只需要八位元，可以看成是对 ISO 646 / ASCII 的扩充；占用的文字宽度亦一样，通常只有普通汉字的一半，故称为“半形假名”。
例如普通（全形）的片假名“カ”，半形的是“?”。平假名和汉字并无半形版本。
区位码
区位码是指每个汉字的GB2312编码的对应表示，以4位十进制数字表示。例如“啊”字的区位码是1601。
国标码的内码是指每个汉字未经处理的GB2312编码，以4位十六进制数字表示。例如“啊”字的国标码是B0A1（与国标码对比：0xB0=0xA0+16,0xA1=0xA0+1）。
国标码、区位码都属于“无理码”（即没有什么道理可讲，就得背），直接向计算机输入区位码而得到汉字的方法叫做区位输入法（相应地，输入国标码而得到汉字的方法叫做GB内码输入法）。在DOS时代，许多中文系统都实现了国标码及区位码输入法，以便程序员进行输入测试。普通用户一般不使用这些输入法，在DOS被Windows系统取代后，国标码和区位码输入法已经趋于消亡。
Windows 95至2000、Me中，有“区位输入法”和“内码输入法”；Windows XP中，有“中文(简体) - 内码”；Windows Vista起，该输入法被移除，须从XP系统中移植WinGB.IME方可使用。
MBCS(Multi-Byte Chactacter System，即多字节字符系统)
它是编码的一种类型，而不是某个特定编码的名称。
字符基础：ASCII，DBCS，Unicode
所有的string类都是以C-style字符串为基础的。C-style字符串是字符数组。字符类型有三种编码格式：
第一种是单字节字符集(single byte character set or SBCS)。在这种编码格式下，所有字符都只用 一个字节表示，ASCII码就是单字节字符。用"0"来表示一个字节的结束。
第二种编码格式是多字节字符集(multi-byte character set or MBCS)。在Windows里的MBCS包含两种字符类型：单字节字符(single byte characters)和双字节字符(double byte characters)。由于Windows 里使用的多字节字符绝大部分是两个字节长，MBCS常被DBCS代替。
第三种编码格式是Unicode。Unicode是一种所有的字符都使用两个字节编码的编码模式。Unicode字符有时也被称作宽字符。
Unicode与MBCS的区别是：MBCS字符可以使用不同长度的字节编码。
单字节字符包含拉丁文字母表及ASCII码和DOS操作系统定义的图形字符。双字节字符被用来表示东亚及中东的语言。Unicode被用来COM及Windows NT操作系统内部。
char是单字节字符。双字节字符也可以用char类型来进行操作。Unicode字符用wchar_t来表示。Unicode字符和字符串常量用前缀L来表示。例如：
wchar_t wch = L"1";
wchar_t* wsz = L"Hello";
单字节字符串在内存中：每个字符占一个字节按顺序依次存储。最后以单字节表示的0结束。例如："Bob"在内存中的存储形式：
|-------------------------------|
|42 | 6F | 62 | 00 |
|-------------------------------|
|B | o | b | BOS |
|-------------------------------|
Unicode的存储形式:
--------------------------------------------
| 42 00 | 6F 00 | 62 00 | 00 00 |
|------------------------------------------|
| B | o | b | BOS |
|------------------------------------------|
Win32 API中的MBCS和Unicode
尽管你也许从来没有注意过，Win32中的每个与字符串相关的API和message都有两个版本。一个版本按受MBCS字符串，另一个接受Unicode字符串。例如：根本没有SetWindowText()这个API,相反有SetWindowTextA()和SetWindowTextW()。
后缀A表明这是MBCS函数，后缀W表示这是Unicode版本的函数。
当你build一个Windows程序，你可以选择是用MBCS或者Unicode API，如果你用vc向导并且没有改过预处理的设置。那表明你用的是MBCS版本。
当使用MBCS API来build程序时，UNICODE没有被定义，所以预处理器看到：
#define SetWindowText SetWindowTextA
这个宏把所有对SetWindowText的调用都转换成真正的API函数SetWindowTextA.如果你想把默认使用的API函数变成Unicode版的，你可以在预处理器设置中，把_MBCS从预定义的宏列表中删除。然后添加UNICODE和_UNICODE(需要两个都定义，因为不同的头文件可能使用不同的宏。)
使用TCHAR类型
TCHAR是一种字符串类型，它让你在以MBCS和UNICODE来build程序时可以使用同样的代码；不需要使用繁琐的宏定义来包含你的代码。TCHAR的定义如下：
#ifdef UNICODE
typedef wchar_t TCHAR;
#else
typedef char TCHAR;
#endif
还有一个宏来处理定义Unicode字符串常量时所需的L前缀。
#ifdef UNICODE
#define _T(x) L##X
#else
#define _T(x)x
#endif
##是一个预处理操作符，它可以把两个参数连在一起。如果你的代码中需要字符串常量，在它前面加上_T宏，如果你使用Unicode来build，它会在字符串常量前加上L前缀。
Windows API是用TCHAR来定义的，在编译时，它可以根据你是否定义_MBCS或_UNICODE被编译成MBCS或者Unicode字符。
类型 含义
WCHAR Unicode character(wchar_t)
TCHAR MBCS or Unicode character.
LPSTR string of char (char*)
LPCSTR const string of char(const char*)
LPWSTR string of WCHAR(WCHAR*)
LPCWSTR constant string of WCHAR(const WCHAR*)
LPTSTR string of TCHAR(TCHAR*)
LPCTSTR constant string of TCHAR(const TCHAR*)
杂谈：
计算机发明后，为了在计算机中表示字符，人们制定了一种编码，叫做ASCII码，ASCII码由一个字节中的7位(bit)表示，范围是0x00-0x7F共128个字符。用这128个数字表示abcd...ABCD...1234....这些字符。后来又扩展了ASCII码的定义，使用一个字节的全部8位(bit)来表示字符了。这就叫扩展 ASCII码。范围是0x00-0xFF共256个字符。
后来，中国人利用连续2个扩展ASCII码的扩展区域(0xA0以后)来表示一个汉字，该方法的标准叫GB-2312。后来，日文、韩文、阿拉伯文、台湾繁体都使用类似的方法扩展了本地字符集的定义，现在统一称为MBCS字符集(多字节字符集)。这种方法是有缺陷的，因为各个国家的定义的字符集有交集，因此使用GB2312的软件，就不能在BIG-5的环境下运行(显示乱码)。
为了把全世界的所有的文字符号都统一进行编码，于是制定了UNICODE标准字符集。UNICODE使用2个字节表示一个字符。这下终于好啦，全世界任何一个地区的软件，可以 不用修改就能在另一个地区运行了。UNICODE的范围是0x0000-0xFFFF共6万多个字符。
在程序中使用各种字符集的方法：
const char* p = "Hello"; //使用ASCII码
const char* p = "你好"; //使用MBCS字符集，由于MBCS完全兼容ASCII码，多数情况，我们并不严格区分他们。
LPCSTR p = "Hello,你好"; //意义同上。
const WCHAR *p = L"Hello,你好";使用UNICODE字符集。
//如果预定义了_UNICODE，则表示使用UNICODE字符集，如果定义了_MBCS,则表示使用MBCS
const TCHAR *p = _T("Hello 您好");
LPCTSTR p = _T("Hello,你好");//意义同上。
多字节与UTF-8、Unicode之间的转换
01.
02.
03.// 多字节编码转为UTF8编码
04.bool MBToUTF8(vector<char>& pu8, const char* pmb, int32 mLen)
05.{
06. // convert an MBCS string to widechar
07. int32 nLen = MultiByteToWideChar(CP_ACP, 0, pmb, mLen, NULL, 0);
08.
09. WCHAR* lpszW = NULL;
10. try
11. {
12. lpszW = new WCHAR[nLen];
13. }
14. catch(bad_alloc &memExp)
15. {
16. return false;
17. }
18.
19. int32 nRtn = MultiByteToWideChar(CP_ACP, 0, pmb, mLen, lpszW, nLen);
20.
21. if(nRtn != nLen)
22. {
23. delete[] lpszW;
24. return false;
25. }
26. // convert an widechar string to utf8
27. int32 utf8Len = WideCharToMultiByte(CP_UTF8, 0, lpszW, nLen, NULL, 0, NULL, NULL);
28. if (utf8Len <= 0)
29. {
30. return false;
31. }
32. pu8.resize(utf8Len);
33. nRtn = WideCharToMultiByte(CP_UTF8, 0, lpszW, nLen, &*pu8.begin(), utf8Len, NULL, NULL);
34. delete[] lpszW;
35.
36. if (nRtn != utf8Len)
37. {
38. pu8.clear();
39. return false;
40. }
41. return true;
42.}
43.
44.// UTF8编码转为多字节编码
45.bool UTF8ToMB(vector<char>& pmb, const char* pu8, int32 utf8Len)
46.{
47. // convert an UTF8 string to widechar
48. int32 nLen = MultiByteToWideChar(CP_UTF8, 0, pu8, utf8Len, NULL, 0);
49.
50. WCHAR* lpszW = NULL;
51. try
52. {
53. lpszW = new WCHAR[nLen];
54. }
55. catch(bad_alloc &memExp)
56. {
57. return false;
58. }
59.
60. int32 nRtn = MultiByteToWideChar(CP_UTF8, 0, pu8, utf8Len, lpszW, nLen);
61.
62. if(nRtn != nLen)
63. {
64. delete[] lpszW;
65. return false;
66. }
67.
68. // convert an widechar string to Multibyte
69. int32 MBLen = WideCharToMultiByte(CP_ACP, 0, lpszW, nLen, NULL, 0, NULL, NULL);
70. if (MBLen <=0)
71. {
72. return false;
73. }
74. pmb.resize(MBLen);
75. nRtn = WideCharToMultiByte(CP_ACP, 0, lpszW, nLen, &*pmb.begin(), MBLen, NULL, NULL);
76. delete[] lpszW;
77.
78. if(nRtn != MBLen)
79. {
80. pmb.clear();
81. return false;
82. }
83. return true;
84.}
85.
86.// 多字节编码转为Unicode编码
87.bool MBToUnicode(vector<wchar_t>& pun, const char* pmb, int32 mLen)
88.{
89. // convert an MBCS string to widechar
90. int32 uLen = MultiByteToWideChar(CP_ACP, 0, pmb, mLen, NULL, 0);
91.
92. if (uLen<=0)
93. {
94. return false;
95. }
96. pun.resize(uLen);
97.
98. int32 nRtn = MultiByteToWideChar(CP_ACP, 0, pmb, mLen, &*pun.begin(), uLen);
99.
100. if (nRtn != uLen)
101. {
102. pun.clear();
103. return false;
104. }
105. return true;
106.}
107.
108.//Unicode编码转为多字节编码
109.bool UnicodeToMB(vector<char>& pmb, const wchar_t* pun, int32 uLen)
110.{
111. // convert an widechar string to Multibyte
112. int32 MBLen = WideCharToMultiByte(CP_ACP, 0, pun, uLen, NULL, 0, NULL, NULL);
113. if (MBLen <=0)
114. {
115. return false;
116. }
117. pmb.resize(MBLen);
118. int nRtn = WideCharToMultiByte(CP_ACP, 0, pun, uLen, &*pmb.begin(), MBLen, NULL, NULL);
119.
120. if(nRtn != MBLen)
121. {
122. pmb.clear();
123. return false;
124. }
125. return true;
126.}
127.
128.// UTF8编码转为Unicode
129.bool UTF8ToUnicode(vector<wchar_t>& pun, const char* pu8, int32 utf8Len)
130.{
131. // convert an UTF8 string to widechar
132. int32 nLen = MultiByteToWideChar(CP_UTF8, 0, pu8, utf8Len, NULL, 0);
133. if (nLen <=0)
134. {
135. return false;
136. }
137. pun.resize(nLen);
138. int32 nRtn = MultiByteToWideChar(CP_UTF8, 0, pu8, utf8Len, &*pun.begin(), nLen);
139.
140. if(nRtn != nLen)
141. {
142. pun.clear();
143. return false;
144. }
145.
146. return true;
147.}
148.
149.// Unicode编码转为UTF8
150.bool UnicodeToUTF8(vector<char>& pu8, const wchar_t* pun, int32 uLen)
151.{
152. // convert an widechar string to utf8
153. int32 utf8Len = WideCharToMultiByte(CP_UTF8, 0, pun, uLen, NULL, 0, NULL, NULL);
154. if (utf8Len<=0)
155. {
156. return false;
157. }
158. pu8.resize(utf8Len);
159. int32 nRtn = WideCharToMultiByte(CP_UTF8, 0, pun, uLen, &*pu8.begin(), utf8Len, NULL, NULL);
160.
161. if (nRtn != utf8Len)
162. {
163. pu8.clear();
164. return false;
165. }
166. return true;
167.}
标签：
原文地址：http://my.oschina.net/dubenju/blog/501353
