标签：style blog http io ar color os 使用 sp
1.ASCII、Unicode、UFT-8
在看Text类型的时候，里面出现了上面三种编码，先看看这三种编码：
ASCII是基于拉丁字母的一套电脑编码系统。它主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统，并等同于国际标准ISO/IEC 646。ASCII是7位字符集，是美国标准信息交换代码的缩写，为美国英语通信所设计。它由128个字符组成，包括大小写字母、数字0-9、标点符号、非打印字符（换行副、制表符等4个）以及控制字符（退格、响铃等）组成。从定义，很明显，单字节编码，现代英语，局限性很大。
由于它是针对英语设计的，当处理带有音标符号的亚洲文字就会出现问题。因此，创建除了一些包含255个字符的由ASCII扩展的字符集。其中有两种比较有名：IBM字符集和ISOLatin-1，但是，仅仅汉语字母表就有80000以上个字符。但是把汉语、日语、越南语的一些相似的字符结合起来，在不同的语言里，使用不同的字符代表不同的字，这样，只用2个字节就可以编码地球上几乎所有的文字。因此UNICODE编码由此创建。
Unicode（统一码、万国码、单一码）是一种在计算机上使用的字符编码。Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。和AASCII不同，它共过增加一个 高字节对ISO Latin-1字符集进行扩展，当着写高字节为0时，低字节就是ISO Latin-1字符。
但是，对可以使用ASCII表示的字符使用UNICODE来表示，并不是很高效，因为UNICODE是两个字节组成的，而ASCII是由单字节组成的。UNICODE比ASCII占用大了一倍的空间。为了解决这个问题，就出现了一些中间格式的字符集，他们被称为通用转换格式，即UTF。常见的UTF格式有：UTF-7、UTF-7.5、UTF-8等。
UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，又称万国码。由Ken Thompson于1992年创建。现在已经标准化为RFC 3629。UTF-8用1到6个字节编码UNICODE字符。用在网页上可以同一页面显示中文简体繁体及其它语言（如英文，日文，韩文）。UTF-8转换表表示如下：
实际表示ASCII字符的UNICODE字符，将会编码成1个字节。并且UTF-8表示会与ASCII字符表示是一样的。所有其他的UNICODE字符转化成UTF-8将需要至少2个字节。
2.Text类型
<1>Text简介
Text是针对UTF-8序列的Writable类。一般可以认为等价于java.lang.String的Writable。
由于它着重使用标准的UTF-8编码，因此Text类的索引是根据编码后字节序列中的位置实现的。并非字符串中的Unicode字符，也不是Java Char的编码单元。对于ASCII字符串，这三个索引位置的概念是一致的。
<2>String 和 Text区别
上面已经提到了，Text类的索引是根据编码后字节序列中的位置实现的。String的索引是Java Char编码单元实现的。当字符串为ASCII码的时候，也就是全部为7位的单字节的时候，String 和 Text一致！
(1).当字符串为ASCII码(单字节)
Example:
1 package cn.roboson.writable; 2 3 import java.io.UnsupportedEncodingException; 4 5 import org.apache.hadoop.io.Text; 6 7 /** 8 * 1.区别Text和String 9 * 2.首先从ASSCII字符串比较（也就是全部都是7位单字节）, 10 * 3.通过getLength()、getBytes()、charAt()、find()、indexof()、codePointAt()方法来测试 11 * @author roboson 12 * 13 */ 14 public class WritableText01 { 15 16 public static void main(String[] args) throws UnsupportedEncodingException { 17 //Hadoop中全部都是7位单字节（H,a，d,o,o,p） 18 String str = new String("Hadoop"); 19 Text t = new Text("Hadoop"); 20 21 //“Hadoop”的长度，也就是所含char编码单元的个数（H,a,d,o,o,p）共6个 22 System.out.println("String length:"+str.length()); //6 23 24 //String的getBytes() 方法返回根据相应编码（此例为utf-8）编码后的字节数，因为Hadoop这个字符串都是单字节的，所以，用utf-8编码，效果同ASCII编码一样，都是6个字节 25 System.out.println("String getBytes:"+str.getBytes("UTF-8").length); //6 26 27 //String的charAt（）方法返回的是相应位置的char编码单元 28 System.out.println("String chartAt:"+str.charAt(0)); //H 29 System.out.println("String chartAt:"+str.charAt(5)); //p 30 31 //String的indexOf()方法返回的字符出现的位置 32 System.out.println("String indexof:"+str.indexOf("H")); 33 System.out.println("String indexof:"+str.indexOf("p")); 34 35 //String的codePointAt()方法返回的对应位置的unicode字符集序号 36 System.out.println("String codePointAt:"+str.codePointAt(0)); //72 37 System.out.println("String codePointAt:"+str.codePointAt(5)); //112 38 39 //“Hadoop”的长度，也就是有UTF-8编码后所含有的字节数 40 System.out.println("Text length:"+t.getLength()); //6 41 42 //同indexof()方法相似，返回字节出现的位置 43 System.out.println("Text find:"+t.find("H")); //0 44 System.out.println("Text find:"+t.find("a")); //1 45 46 //Text类的charAt方法也是返回对应的unicode字符集序号 47 System.out.println("Text char:"+t.charAt(0)); //72 48 System.out.println("Text char:"+t.charAt(1)); //112 49 } 50 }
运行结果：
(2).当字符串为多个字节
一旦使用多个字节来编码时，Text和String之间区别就很明显了
| Unicode code point | U+0041 | U+00DF | U+6771 | U+10400 |
| UTF-8 code units | 41 | c3 9f | e6 9d b1 | fo 90 90 80 |
| Java representation | \u0041 | \u00DF | \u6771 | \uD801 \uDC00 |
第一行表示unicode字符集中的序号（也是以16进制表示），第二行表示的是采用utf-8编码的情况，第三行表示的是用utf-16编码的情况，可以看到，第四个字符在utf-16编码下也占用4个字节（两个char单元，每个char单元是两字字节)
分析：
Text t = new Text("\u0041\u00DF\u6771\uD801\uDC00");
Text中的长度是由编码后字节的个数所决定的！那么，字节的个数是如何算的呢？在上文的UTF-8转换表图中有说明：
如下图，是t的字节数的实现，通过其二进制的位数，然后，同UTF-8转换表对比，从而得出其字节数！
| unicode | 二进制 | 位数 | 字节数 |
| U+0041 | 1000001 | 7 | 1 |
| U+00DF | 11011111 | 8 | 2 |
| U+6771 | 110011101110001 | 15 | 3 |
| U+10400 | 10000010000000000 | 17 | 4 |
t的长度：1+2+3+4=10；
可以通过下面的例子来验证：
Example:
1 package cn.roboson.writable; 2 3 import java.io.UnsupportedEncodingException; 4 5 import org.apache.hadoop.io.Text; 6 7 public class WtitableText { 8 public static void main(String[] args) throws UnsupportedEncodingException { 9 String str = "\u0041\u00DF\u6771\uD801\uDC00"; 10 11 Text text = new Text("\u0041\u00DF\u6771\uD801\uDC00"); 12 13 System.out.println(str.length()); //5 14 15 System.out.println(str.getBytes("UTF-8").length); //10 16 String str1="\u0041"; 17 System.out.println(str1.getBytes("UTF-8").length); //1 18 String str2="\u00DF"; 19 System.out.println(str2.getBytes("UTF-8").length); //2 20 String str3="\u6771"; 21 System.out.println(str3.getBytes("UTF-8").length); //3 22 23 String str4="\uD801\uDC00"; 24 System.out.println(str4.getBytes("UTF-8").length); //4 25 26 System.out.println(str.indexOf("\u0041")); //0 27 System.out.println(str.indexOf("\u00DF")); //1 28 System.out.println(str.indexOf("\u6771")); //2 29 System.out.println(str.indexOf("\uD801\uDC00")); //3 30 31 System.out.println(str.charAt(0)==‘\u0041‘); //true 32 System.out.println(str.charAt(1)==‘\u00DF‘); //true 33 System.out.println(str.charAt(2)==‘\u6771‘); //true 34 System.out.println(str.charAt(3)==‘\uD801‘); //true 35 System.out.println(str.charAt(4)==‘\uDC00‘); //true 36 37 System.out.println(str.codePointAt(0)); //65 38 System.out.println(str.codePointAt(1)); //223 39 System.out.println(str.codePointAt(2)); //26481 40 System.out.println(str.codePointAt(3)); //66560 41 42 43 System.out.println(text.getLength()); //10 44 System.out.println(text.find("\u0041")); //0 45 System.out.println(text.find("\u00DF")); //1 46 System.out.println(text.find("\u6771")); //3 47 System.out.println(text.find("\uD801\uDC00")); //6 48 49 System.out.println(text.charAt(0)); //65 50 System.out.println(text.charAt(1)); //223 51 System.out.println(text.charAt(3)); //26481 52 System.out.println(text.charAt(6)); //66560 53 } 54 }
运行结果：
参考：
http://www.cnblogs.com/yuhan-TB/p/3752725.html
《Hadoop权威指南》
标签：style blog http io ar color os 使用 sp
原文地址：http://www.cnblogs.com/robert-blue/p/4162620.html
