码迷,mamicode.com
首页 > 编程语言 > 详细

python基础3 字符编码

时间:2017-07-20 10:06:10      阅读:159      评论:0      收藏:0      [点我收藏+]

标签:闲置   不为   字符   分类   设计   含义   组织   标准   嵌入   

本节主要内容:

  1. 基本概念
  2. ASCII及其扩展
  3. 中文字符编码
  4. unicode
  5. 注释
  6. 参考网页

基本概念

计算机中储存的信息都是二进制的0/1串,当我们要在计算机中存储诸如英文、中文、标点符号等字符时,需要先把字符转化成二进制的0/1串之后再保存到计算机中;而当我们要读取保存在计算机中的信息时,需要通过一定的方法把里面的二进制0/1串转化成为原先的字符,然后再通过显示器等渠道进行显示。

这里涉及到字符编码的两个基本概念:

字符集(Character Set):指系统支持的所有字符的集合。字符包括涉及到的所有文字和符号,如各个国家的语言文字、标点符号和图形符号等。 字符编码(Character Encoding):指把字符集中的字符映射成二进制0/1串的规则,如用多少个字节存储,每个字节存什么信息等。例如,可以把字符A映射成二进制的01000001(即十进制的65,十六进制的0×41)。通过编码之后的字符适合于硬盘存储、网络传输等,但若要再次显示时则需要以相反的规则把0/1串映射回原先的字符,称为解码过程。 另外,相关组织在制定编码标准的时候,“字符的集合”和“编码方式”有时是同时制定的,比如我们平常所说的“字符集”如ASCII,GBK,GB2312等,除了有“字符集”这层含义外,同时也包含了“字符编码”的含义。

ASCII及其扩展

计算机内部保存信息的二进制0/1串中,每个位置(bit)只有0和1两种状态,一个字节(byte,含有8个二进制位)可以组合出2^8=256种状态,从0000000到11111111。如果每种状态对应一个字符,那么一个字节可以表示256个字符。 ASCII码就是规定了这256个中的一部分字符的编码标准。ASCII(American Standard Code for Information Interchange,美国信息互换标准代码)是美国在1967年制定的一套字符编码,规定了英语字符及其他常见字符与二进制位之间的映射关系,是沿用至今的影响深远的编码系统。 ASCII主要用于显示现代英语,128个符号对于英语来说已经足够,但对于其他语言,由于他们的字符数量众多,128个符号显得远远不够。一些国家通过利用字节中闲置的最高位编入新的特殊符号、外来语字母和图形符号,可以勉强显示一些西欧国家的语言,称为扩展ASCII码。在扩展ASCII码中,0-127这前128个编码表示的符号是一样的,但128–255这后128个则因不同的国家而各不相同。

中文字符编码

ASCII编码能够很好地对英语字符进行编码,但对大量的中文汉字则无能为力,为了显示中文,相关组织设计了相应的中文编码标准。 为了处理汉字,程序员设计了用于简体中文的GB2312和用于繁体中文的big5。

GB2312(1980年)一共收录了7445个字符,包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7,低字节从A1-FE,占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。

GB2312 支持的汉字太少。1995年的汉字扩展规范GBK1.0收录了21886个符号,它分为汉字区和图形符号区。汉字区包括21003个字符。2000年的 GB18030是取代GBK1.0的正式国家标准。该标准收录了27484个汉字,同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。现在的PC平台必须支持GB18030,对嵌入式产品暂不作要求。所以手机、MP3一般只支持GB2312。

从ASCII、GB2312、GBK 到GB18030,这些编码方法是向下兼容的,即同一个字符在这些方案中总是有相同的编码,后面的标准支持更多的字符。在这些编码中,英文和中文可以统一地处理。区分中文编码的方法是高字节的最高位不为0。按照程序员的称呼,GB2312、GBK到GB18030都属于双字节字符集 (DBCS)。

有的中文Windows的缺省内码还是GBK,可以通过GB18030升级包升级到GB18030。不过GB18030相对GBK增加的字符,普通人是很难用到的,通常我们还是用GBK指代中文Windows内码。

Unicode

ASCII码无法将世界上的各种文字和符号全部表示,所以,就需要新出一种可以代表所有字符和符号的编码,即:Unicode Unicode(统一码、万国码、单一码)是一种在计算机上使用的字符编码。Unicode 是为了解决传统的字符编码方案的局限而产生的,它为每种语言中的每个字符设定了统一并且唯一的二进制编码,规定虽有的字符和符号最少由 16 位来表示(2个字节),即:2 **16 = 65536, 注:此处说的的是最少2个字节,可能更多

UTF-8就是unicode的一种具体实现,是可变长的unicode,并且兼容ASCII,他不再使用最少使用2个字节,而是将所有的字符和符号进行分类:ascii码中的内容用1个字节保存、欧洲的字符用2个字节保存,东亚的字符用3个字节保存...

python3 默认是utf-8 python2 默认是ascii 汉字在python2 会报错,需要# -- coding:utf-8 -- 加这一段。 python3里不需要。

注释

其他:当行注视:# 被注释内容   多行注释:""" 被注释内容 """

参考网页

http://noalgo.info/571.html?utm_source=tuicool&utm_medium=referral

http://python.jobbole.com/82107/

python基础3 字符编码

标签:闲置   不为   字符   分类   设计   含义   组织   标准   嵌入   

原文地址:http://www.cnblogs.com/cathywu/p/7209126.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!