码迷,mamicode.com
首页 > 编程语言 > 详细

python--字符编码理解

时间:2017-09-02 01:03:25      阅读:175      评论:0      收藏:0      [点我收藏+]

标签:包含   pre   可变   结果   size   zha   htm   style   --   

一、字符编码简史:

美国:1963年 ASCII (包含127个字符  占1个字节)

中国:1980年 GB2312 (收录7445个汉字,包括6763个汉字和682个其它符号)

                 1993年 GB13000 (收录20902个汉字)

                         1995年 GBK1.0 (收录 21003个汉字)

                                  2000年 GB18030 (收录70244个汉字)

世界:1991年 unicode(‘万国码’也就统一编码,通常占2字节,复杂的汉字占4字节)

                UTF-8 (可变长的字符编码)

 

二、python中的编码解码应用

Python2中的字符串进行字符编码转换过程是:

字节串-->decode(‘原来的字符编码‘)-->Unicode字符串-->encode(‘新的字符编码‘)-->字节串

#!/usr/bin/env python
# -*- coding:utf-8 -*-

utf_8_a = 测试
print(utf_8_a,type(utf_8_a),len(utf_8_a))  #打印utf_8_a的内容、类型及长度
unicode_a = utf_8_a.decode(utf-8) #对utf_8_a进行解码成unicode
print(unicode_a,type(unicode_a),len(unicode_a))
gbk_a = utf_8_a.decode(utf-8).encode(gbk) #先解码在编码成gbk
print(gbk_a,type(gbk_a),len(gbk_a)) #打印gbk_a的内存、类型及长度
print(gbk_a.decode(gbk))
----------------------------------------------------
pytharm(python2.6)运行结果:
(\xe6\xb5\x8b\xe8\xaf\x95, <type str>, 6)
(u\u6d4b\u8bd5, <type unicode>, 2)
(\xb2\xe2\xca\xd4, <type str>, 4)
测试

 

Python3中定义的字符串默认就是unicode,因此不需要先解码,可以直接编码成新的字符编码:

       字符串-->encode(‘新的字符编码‘)-->字节串

#!/usr/bin/env python
# -*- coding:utf-8 -*-
 
utf_8_a = 测试
print(utf_8_a,type(utf_8_a),len(utf_8_a))  #打印utf_8_a的内容、类型及长度
gbk_a = utf_8_a.encode(gbk)
print(gbk_a.decode(gbk),type(gbk_a),len(gbk_a))
 --------------------------------------------------------
pycharm(python3.6)运行结果:
测试 <class str> 2
测试 <class bytes> 4

注:关于字符与字节的理解 猛击这里

三、参考文档:

  http://www.cnblogs.com/magicsoar/p/4981701.html

       http://www.cnblogs.com/alex3714/p/4296002.html

       http://www.cnblogs.com/zhangqigao/p/6496172.html

python--字符编码理解

标签:包含   pre   可变   结果   size   zha   htm   style   --   

原文地址:http://www.cnblogs.com/apff/p/7455410.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!