码迷,mamicode.com
首页 > 编程语言 > 详细

python 模块 chardet下载及介绍

时间:2017-08-21 09:45:36      阅读:218      评论:0      收藏:0      [点我收藏+]

标签:urlopen   blog   环境   介绍   引用   提示   print   packages   universal   

在处理字符串时,常常会遇到不知道字符串是何种编码,如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式,是否会有一种有效的编码方式?chardet是一个非常优秀的编码识别模块。
chardet 是python的第三方库,需要下载和安装。下载的地址有:
 
如果采用源代码安装方法,有可能会提示缺少setuptools这个模块。因此这里我们采用另外一种更为方便的安装方法,不论你选择哪种安装包,将它解压得到其中的文件夹【chardet】将这个文件夹复制到【python安装根目录\Lib\site-packages】下,确保这个位置可以被python引用到。如果不能被引用到请加入环境变量。
 
在安装完chardet模块,我就可以使用它了,来看一段示例代码。
import chardet  
import urllib  
  
#可根据需要,选择不同的数据  
TestData = urllib.urlopen(‘http://www.baidu.com/‘).read()  
print chardet.detect(TestData)  
  
运行结果:  
{‘confidence‘: 0.99, ‘encoding‘: ‘GB2312‘}   
运行结果表示有99%的概率认为这段代码是GB2312编码方式。
 
另外一个相对高级的应用。
import urllib  
from chardet.universaldetector import UniversalDetector  
usock = urllib.urlopen(http://www.baidu.com/)  
#创建一个检测对象  
detector = UniversalDetector()  
for line in usock.readlines():  
    #分块进行测试,直到达到阈值  
    detector.feed(line)  
    if detector.done: break  
#关闭检测对象  
detector.close()  
usock.close()  
#输出检测结果  
print detector.result  
  
运行结果:  
{confidence: 0.99, encoding: GB2312}  

应用背景,如果要对一个大文件进行编码识别,使用这种高级的方法,可以只读一部,去判别编码方式从而提高检测速度。

python 模块 chardet下载及介绍

标签:urlopen   blog   环境   介绍   引用   提示   print   packages   universal   

原文地址:http://www.cnblogs.com/zhaobang/p/7402388.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!