码迷,mamicode.com
首页 > 编程语言 > 详细

从Python的角度来看编码与解码

时间:2017-09-24 19:19:19      阅读:158      评论:0      收藏:0      [点我收藏+]

标签:刷新   16进制   stdin   编号   contain   程序员   only   http   cpu   

导语:

Python2和Python3中,因为默认字符集的不同而造成的麻烦,简直是程序员的梦魇!要彻底告别这个麻烦,就需要从本质上来理解编码和解码。

 

为什么要有编码?

对于不会英文的中国人来说,将英文翻译成中文,这个就叫做解码;而将中文翻译成英文,自然就是编码了!

这个道理在计算机中同样适用。

计算机只能识别0和1,任何文字对于计算机来说,就是0和1的排列组合。但是我们人类哪看得懂这种0和1的排列组合!

自然就需要将0和1的文字转换为我们能看得懂的文字,比如中文,英文等。

而这种0和1到文字的映射,就叫做解码;文字到0和1的映射自然就是编码了!

有了映射关系,自然就需要有个类似“表格”的东西,来记录这种映射关系了!这个“表格”就是我们常说的字符集(也叫编码集,简称编码),比如ascii编码,utf-8字符集。

习惯上,我们把人类能看懂的文字叫做字符,对应的计算机能看得懂的文字叫做字符编号(也就是字节流),而字符集就是这种字符和字符编号的映射。

 

为什么会有乱码?

上面我们说到,字符集有多种,那么问题来了。

比如,在编码时,我采用utf-8字符集进行文字到0和1的映射,但是解码时,又采用gbk的字符集进行0和1到文字的映射,

2种字符集的映射规则是不一样的!结果自然就是乱码!

这就像我买了张三家的锁,却用李四家配的钥匙来开门,能开门就见鬼了!

(其实对于计算机来说,根本没有乱码这一说法!对于特定的字符,0和1的排列组合是唯一不变的,变得是映射后的文字。)

 

关于文件编码

不知道有没有人有过这样的疑问,CPU一个只能运算0和1的器件,是如何能够处理文本、图片、视频和声音这些资源的?

其实这就要讲到文件编码。

以下文字来自知乎网友的解答:

 

作者:DJ Hitori
链接:https://www.zhihu.com/question/27805272/answer/74539468
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
文字:

有若干种标准可以用8~16位二进制数表示一个字符,比如用8位数表示英语字母数字的ASCII,用16位数表示几乎所有语言所有字符的Unicode等。以ASCII为例,这个标准用01000001这个数表示大写的A,于是某个文字处理软件看到这个数字知道这是A,然后向一个字体文件询问字母A长什么样,然后把它画在屏幕上,你就看到了A。

图像:

最简单的格式叫“位图”(BMP),用24位二进制数表示图像中的一个点,这24位数中8位表示这个点有多少红色,8位表示多少绿色,8位表示多少蓝色,三种原色组合起来就可以表示几乎所有的颜色。很多个24位数连在一起,就是很多个点,于是就组成了一幅图像。除此以外还有其他格式以更少的数字表示同样多的图像内容,如JPG、PNG等。

声音:

声音是波,是数学上的连续函数,而计算机无法理解连续函数,所以每秒取样44100次,把1秒的声音变成44100个数字记录下来,这是录音的过程。回放时,把这些数字交给声卡,声卡控制喇叭按照这些数字表示的幅度震动,就发出了声音。同样,除了44100个数字(这是WAV格式)以外还有其他格式以更少的数字表示同样多的声音,如MP3、OGG等。

视频:

既然有了图像和声音的标准,那么每秒钟24~60幅图像再加上1秒钟的声音就组成了1秒钟的视频内容。不过这种做法的数据量异常庞大,所以没人这么干,科学家们发明了各种编码方式以非常非常少(相对于未压缩)的数字表示同样多的视频内容,如H.264等。

各种软件控制CPU按照各种标准理解了多媒体内容后,计算出屏幕上每一个点应该是什么颜色(和位图一样),然后把这些计算结果交给显卡,显卡把这一堆数字表示的颜色画到屏幕上,这叫做一次刷新。一般来说每秒刷新60次,这样你就流畅地看到了你所打开的多媒体内容。

 

了解了编码和解码的大环境之后,再来看看Python中的编码和解码:

字符串类型

Python2中字符串类型有2种,unicode和str。 

>>> s = 中国
>>> s
\xe4\xb8\xad\xe5\x9b\xbd
>>> u = u中国
>>> u
u\u4e2d\u56fd
>>> type(s)
<type str>
>>> type(u)
<type unicode>

Python3中字符串类型只有str一种。

>>> s = 中国
>>> s
中国
>>> type(s)
<class str>
>>> u = u中国
>>> u
中国
>>> type(u)
<class str>

 

默认字符集

Python2中默认字符集为ascii,其中默认中文字符集为utf-8。

>>> sys.getdefaultencoding()
ascii

Python3中,无论什么文,默认字符集为utf-8。

>>> sys.getdefaultencoding()
utf-8

 

关于编码和字节流

编码的结果为字节流。

Python2,str即是字节流

>>> u.encode(gbk)
\xd6\xd0\xb9\xfa
>>> u.encode(utf-8)
\xe4\xb8\xad\xe5\x9b\xbd
>>> s
\xe4\xb8\xad\xe5\x9b\xbd
>>> s = b‘中国‘
>>> s
‘\xe4\xb8\xad\xe5\x9b\xbd‘
>>> type(s)
<type ‘str‘>
>>> bytes(s)
‘\xe4\xb8\xad\xe5\x9b\xbd‘

Python3,不能够直接定义中文字节流

>>> s.encode(utf-8)
b\xe4\xb8\xad\xe5\x9b\xbd
>>> s = b‘中国‘
  File "<stdin>", line 1
SyntaxError: bytes can only contain ASCII literal characters.

 

关于解码

解码的结果为str(python3)或者unicode(python2)

Python2

>>> s.decode(utf-8)
u\u4e2d\u56fd
>>> u
u\u4e2d\u56fd

Python3

>>> a
b\xe4\xb8\xad\xe5\x9b\xbd
>>> a.decode()
中国

 

检测

可以通过isinstance()来判断类型

>>> isinstance(a,str)
True
>>> isinstance(bqq,str)
True

 

关于错误

UnicodeDecodeError: utf-8 codec cant decode byte 0xd6 in position 0: invalid continuation byte

出现上述错误的原因在于:编码时使用的字符集和解码时使用的字符集不一致。

 

拓展:

\0x:当输出的数转换为16进制只有1位时,在前面补0,如 0a,其它情况按照实际情况输出。

\x:按照输出数转换为16进制的实际位数输出。

此外,小写x和大写X也有点区别,小写的x输出小写符号的16进制,大写X则输出大写的(主要针对ABCDEF这六位)

从Python的角度来看编码与解码

标签:刷新   16进制   stdin   编号   contain   程序员   only   http   cpu   

原文地址:http://www.cnblogs.com/leomei91/p/7587980.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!