标签：集中   这一   task   用不了   信息   iso   哪些   程序   sci   

java中的字符，字节和编码

字符与编码的发展

从计算机对多国语言的支持角度看，大致可以分为三个阶段：

字符串在内存中的存放方法：

• 在 ASCII 阶段，单字节字符串使用一个字节存放一个字符（SBCS）。比如，”Bob123” 在内存中为7个字节
• 在使用 ANSI 编码支持多种语言阶段，每个字符使用一个字节或多个字节来表示（MBCS），因此，这种方式存放的字符也被称作多字节字符。比如，”中文123” 在中文 Windows 95 内存中为7个字节，每个汉字占2个字节，每个英文和数字字符占1个字节
• 在 UNICODE 被采用之后，计算机存放字符串时，改为存放每个字符在 UNICODE 字符集中的序号。目前计算机一般使用 2 个字节（16 位）来存放一个序号（DBCS），因此，这种方式存放的字符也被称作宽字节字符。比如，字符串 “中文123” 在 Windows 2000 下，内存中实际存放的是 5 个序号，一共占 10 个字节。

Ascii及中国的编码

Ascii(American Standard Code for Information Interchange)，美国信息互换标准代码，官方的ASCII码表。

Ascii为八位一个字节，一共可以组合出256(2的8次方)种不同的状态。

一开始美国人把其中的编号从0开始的32种状态分别规定了特殊的用途，一但终端、打印机遇上约定好的这些字节被传过来时，就要做一些约定的动作。遇上00x10, 终端就换行，例好遇上0x1b, 打印机就打印反白的字，或者终端就用彩色显示字母。这些0x20以下的字节状态称为”控制码”。

接着把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示，一直编到了第127号，这样计算机就可以用不同字节来存储英语的文字了。

后来，就像建造巴比伦塔一样，世界各地的都开始使用计算机，但是很多国家用的不是英文，他们的字母里有许多是ASCII里没有的。他们决定采用127号之后的空位来表示这些新的字母、符号，还加入了很多画表格时需要用下到的横线、竖线、交叉等形状，一直把序号编到了最后一个状态255。从128到255这一页的字符集被称”扩展字符集”。

我国创造了两个字节编码的“GB2312”以及之后的同样是两个字节的“GBK”。之后“GBK”扩展为“GB18030”，这些编码标准被通称为 “DBCS”（Double Byte Charecter Set 双字节字符集）。

DBSC系列的标准的最大特点是，最大的特点是两字节长的汉字字符和一字节长的英文字符并存于同一套编码方案里，如果一个字节小于127那么按照Ascii的编码，如果大于127那么其和后面的字符组成一个汉字字符。

然后各国也是按照自己的需求弄了一套自己可用的编码。很愉快大家都能用了，接着发现不对啊，各个国家之间电脑需要交流，你的资源到我这里编程乱码，我的资源你也用不了。

于是， ISO （国际标谁化组织）决定着手解决这个问题。他们采用的方法很简单：废了所有的地区性编码方案，重新搞一个包括了地球上所有文化、所有字母和符号的编码。他们打算叫它”Universal Multiple-Octet Coded Character Set”，简称 UCS, 俗称 “UNICODE”。

对于ascii里的那些“半角”字符(即前面排到128个字符)，UNICODE 包持其原编码不变，只是将其长度由原来的8位扩展为16位，而其他文化和语言的字符则全部重新统一编码。由于”半角”英文符号只需要用到低8位，所以其高8位永远是0，因此这种大气的方案在保存英文文本时会多浪费一倍的空间。

字符，字节，字符串

理解编码的关键，是要把字符的概念和字节的概念理解准确。这两个概念容易混淆，我们在此做一下区分：

由于不同 ANSI 编码所规定的标准是不相同的，因此，对于一个给定的多字节字符串，我们必须知道它采用的是哪一种编码规则，才能够知道它包含了哪些“字符”。而对于UNICODE 字符串来说，不管在什么环境下，它所代表的“字符”内容总是不变的。

字符集与编码

各个国家和地区所制定的不同 ANSI 编码标准中，都只规定了各自语言所需的“字符”。比如：汉字标准（GB2312）中没有规定韩国语字符怎样存储。这些 ANSI 编码标准所规定的内容包含两层含义：

1. 使用哪些字符。也就是说哪些汉字，字母和符号会被收入标准中。所包含“字符”的集合就叫做“字符集”。
2. 规定每个“字符”分别用一个字节还是多个字节存储，用哪些字节来存储，这个规定就叫做“编码”。

各个国家和地区在制定编码标准的时候，“字符的集合”和“编码”一般都是同时制定的。因此，平常我们所说的“字符集”，比如：GB2312, GBK, JIS 等，除了有“字符的集合”这层含义外，同时也包含了“编码”的含义。

“UNICODE 字符集”包含了各种语言中使用到的所有“字符”。用来给 UNICODE 字符集编码的标准有很多种，比如：UTF-8, UTF-7, UTF-16, UnicodeLittle, UnicodeBig 等。

常用的编码简介

简单介绍一下常用的编码规则，为后边的章节做一个准备。在这里，我们根据编码规则的特点，把所有的编码分成三类：

我们实际上没有必要去深究每一种编码具体把某一个字符编码成了哪几个字节，我们只需要知道“编码”的概念就是把“字符”转化成“字节”就可以了。对于“UNICODE 编码”，由于它们是可以通过计算得到的，因此，在特殊的场合，我们可以去了解某一种“UNICODE 编码”是怎样的规则。

Unicode及UTF

UNICODE 是用两个字节来表示为一个字符，他总共可以组合出65535不同的字符，这大概已经可以覆盖世界上所有文化的符号。UNICODE 如何在网络上传输也是一个必须考虑的问题，于是面向传输的众多 UTF（UCS Transfer Format）标准出现了，顾名思义，UTF8就是每次8个位传输数据，而UTF16就是每次16个位，只不过为了传输时的可靠性，从UNICODE到UTF时并不是直接的对应，而是要过一些算法和规则来转换。而且网络传输字符编码也涉及到大端小端的问题。

Java中的字符与字节

java中的编码

前面说了，java使用到编码是UNICODE。怎么具体“体会到”这种编码呢？我们可以用java中的转义符 \。

一、我们直接使用“”来转化数字为字符的话，后面的数字应为八进制。

而且只能转化一个字节大小，即255个字符，如下：

• 八进制转义序列：?+ 八进制数；范围’\000’~’\377’（对应十进制0~255）
• \0：空字符

有人问了Unicode不是两个字节吗，为什么这里一个字节就可以，其实java在这里会把它转化为两个字节按Unicode转换。记住是Unicode，不要因为一个字节就以为是ASCII编码，如下代码：

System.out.println('\367'); //这里输出的是 ÷
//八进制367转化为10进制为247
System.out.println((int) '÷');//输出十进制：247
//序号247在Ascii和Unicode对应的字符如下：

二、 Unicode转义字符：\u + 4个十六进制数字；对应十进制范围是0~65535

• \u0000：空字符
• \u0000-\uFFFF：我们电脑出现的每个字符都包含在这其中

三、 特殊字符：就3个

因为在Java中 双引号"、引号‘、反斜杆\ 都有特定的含义，双引号要包住字符串，引号要包住字符，反斜杠是转义符，所以我们通过在加一个转义符\让他们真正代表他们自己。

• \"：双引号
• \‘：单引号
• \\：反斜线

四、控制字符：5个

转义符\加固定字符在java中有五个，表示一定的控制操作

• \r：回车，return 到当前行的最左边。
• \n：换行，向下移动一行，并不移动左右。
• \f：走纸换页
• \t：横向跳格
• \b：退格

Linux中\n表示回车+换行；

Windows中\r\n表示回车+换行。

中文的半角和全角

在DBCS系列的编码里面，把连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的”全角”字符，而原来在127号以下的那些就叫”半角”字符了。所以如果这些例如字母使用一个字节编码就是“半角”，两个字节就是“全角”。其实样子看起来还是有区别的：

几种误解，以及乱码产生的原因和解决办法

容易产生的误解

在这里，我们可以看到，其中所讲的“误解一”，即采用每“一个字节”就是“一个字符”的转化方法，实际上也就等同于采用 iso-8859-1 进行转化。因此，我们常常使用 bytes = string.getBytes(“iso-8859-1”) 来进行逆向操作，得到原始的“字节串”。然后再使用正确的 ANSI 编码，比如 string = new String(bytes, “GB2312”)，来得到正确的“UNICODE 字符串”。

非 UNICODE 程序在不同语言环境间移植时的乱码

非 UNICODE 程序中的字符串，都是以某种 ANSI 编码形式存在的。如果程序运行时的语言环境与开发时的语言环境不同，将会导致 ANSI 字符串的显示失败。

比如，在日文环境下开发的非 UNICODE 的日文程序界面，拿到中文环境下运行时，界面上将显示乱码。如果这个日文程序界面改为采用 UNICODE 来记录字符串，那么当在中文环境下运行时，界面上将可以显示正常的日文。

由于客观原因，有时候我们必须在中文操作系统下运行非 UNICODE 的日文软件，这时我们可以采用一些工具，比如，南极星，AppLocale 等，暂时的模拟不同的语言环境。

网页提交字符串

当页面中的表单提交字符串时，首先把字符串按照当前页面的编码，转化成字节串。然后再将每个字节转化成 “%XX” 的格式提交到 Web 服务器。比如，一个编码为 GB2312 的页面，提交 “中” 这个字符串时，提交给服务器的内容为 “%D6%D0”。

在服务器端，Web 服务器把收到的 “%D6%D0” 转化成 [0xD6, 0xD0] 两个字节，然后再根据 GB2312 编码规则得到 “中” 字。

在 Tomcat 服务器中，request.getParameter() 得到乱码时，常常是因为前面提到的“误解一”造成的。默认情况下，当提交 “%D6%D0” 给 Tomcat 服务器时，request.getParameter() 将返回 [0x00D6, 0x00D0] 两个 UNICODE 字符，而不是返回一个 “中” 字符。因此，我们需要使用 bytes = string.getBytes(“iso-8859-1”) 得到原始的字节串，再用 string = new String(bytes, “GB2312”) 重新得到正确的字符串 “中”。

从数据库读取字符串

通过数据库客户端（比如 ODBC 或 JDBC）从数据库服务器中读取字符串时，客户端需要从服务器获知所使用的 ANSI 编码。当数据库服务器发送字节流给客户端时，客户端负责将字节流按照正确的编码转化成 UNICODE 字符串。

如果从数据库读取字符串时得到乱码，而数据库中存放的数据又是正确的，那么往往还是因为前面提到的“误解一”造成的。解决的办法还是通过 string = new String(string.getBytes(“iso-8859-1”), “GB2312”) 的方法，重新得到原始的字节串，再重新使用正确的编码转化成字符串。

几种错误理解的纠正

误解：“ISO-8859-1 是国际编码？”

非也。iso-8859-1 只是单字节字符集中最简单的一种，也就是“字节编号”与“UNICODE 字符编号”一致的那种编码规则。当我们要把一个“字节串”转化成“字符串”，而又不知道它是哪一种 ANSI 编码时，先暂时地把“每一个字节”作为“一个字符”进行转化，不会造成信息丢失。然后再使用 bytes = string.getBytes(“iso-8859-1”) 的方法可恢复到原始的字节串。

误解：“Java 中，怎样知道某个字符串的内码？”

Java 中，字符串类 java.lang.String 处理的是 UNICODE 字符串，不是 ANSI 字符串。我们只需要把字符串作为“抽象的符号的串”来看待。因此不存在字符串的内码的问题。

例子

// -------------------- Charset 和 StandardCharsets --------------------------- //
        System.out.println(Charset.defaultCharset()); // UTF-8
        System.out.println(Charset.availableCharsets());
        System.out.println(Charset.isSupported("utf8")); // true
        System.out.println(StandardCharsets.UTF_8); // UTF-8

        System.out.println("中文123".getBytes(StandardCharsets.UTF_8).length); // 9
        System.out.println("中文123".getBytes(Charset.forName("gbk")).length); // 7

        // ---------------------- ÷ ------------------------- //
        int x = 0367; // 八进制表示法
        char c = '\367'; // 八进制转义序列
        System.out.println((char) x); // ÷
        System.out.println(c); // ÷

        //八进制367转化为10进制为247
        System.out.println('÷');// ÷
        System.out.println((int) '÷');// 247
        System.out.println((char) 247); // ÷

        // ---------------------- 0 ------------------------- //
        System.out.println('\0'); //
        System.out.println((int) '\0'); // 0
        System.out.println((char) 0); //


        // ----------------------------------------------- //
        //八进制367对应十六进制00F7，所以下面两个输出都是 ÷
        System.out.println('\u00f7'); // ÷

        System.out.println(Integer.toBinaryString('÷')); // 二进制 11110111
        System.out.println(Integer.toOctalString('÷')); // 八进制 367
        System.out.println(Integer.toHexString('÷')); // 十六进制 f7
        System.out.println(Integer.toString('÷')); // 十进制 247
        System.out.println(Integer.toString('÷', 4)); // n进制 3313

        // -------------------- 特殊字符 --------------------------- //
        System.out.println('\"'); // "
        System.out.println('\''); // '
        System.out.println('\\'); // 
        // -------------------- 控制字符 --------------------------- //
        System.out.println("aa\rbb"); // bb
        System.out.println("cc\r\ndd"); // cc换行dd
        System.out.println("12\r34\n56\f78\t90\b12"); // 34换行5678  912
        
        // ----------------------------------------------- //

        byte[] bytes = "中".getBytes(Charset.forName("gbk"));
        for (byte aByte : bytes) {
            System.out.println(Integer.toHexString(aByte));
        }
        // ffffffd6
        // ffffffd0

        byte bytes1 = 0xffffffd6;
        byte bytes2 = 0xffffffd0;
        byte[] bytes3 = new byte[]{bytes1, bytes2};
        System.out.println(new String(bytes3, Charset.forName("gbk"))); // 中
    }

参考

• java中的字符，字节和编码
• Java字符编码详解

20200227 java中的字符，字节和编码

标签：集中   这一   task   用不了   信息   iso   哪些   程序   sci   

原文地址：https://www.cnblogs.com/huangwenjie/p/12372482.html