码迷,mamicode.com
首页 > 其他好文 > 详细

编码格式检测chardet模块

时间:2019-12-09 15:26:34      阅读:134      评论:0      收藏:0      [点我收藏+]

标签:enc   coding   code   模块   nes   编码   bytes   格式   直接   

chardet模块:

--》检测编码格式

未知编码的bytes,要把它转换成str,就需要知道该bytes的编码方式

#1.直接检测bytes

>>> chardet.detect(b'Hello, world!')
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}

检测出的编码是ascii,confidence字段,表示检测的概率是1.0(即100%)


#2.检测GBK编码的中文

>>> data = '离离原上草,一岁一枯荣'.encode('gbk')
>>> chardet.detect(data)
{'encoding': 'GB2312', 'confidence': 0.7407407407407407, 'language': 'Chinese'}

检测的编码是GB2312,注意到GBK是GB2312的超集,两者是同一种编码,检测正确的概率是74%,language字段指出的语言是'Chinese'。

编码格式检测chardet模块

标签:enc   coding   code   模块   nes   编码   bytes   格式   直接   

原文地址:https://www.cnblogs.com/shaozheng/p/12011243.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!