标签:urlopen blog 环境 介绍 引用 提示 print packages universal
import chardet
import urllib
#可根据需要,选择不同的数据
TestData = urllib.urlopen(‘http://www.baidu.com/‘).read()
print chardet.detect(TestData)
运行结果:
{‘confidence‘: 0.99, ‘encoding‘: ‘GB2312‘}
import urllib from chardet.universaldetector import UniversalDetector usock = urllib.urlopen(‘http://www.baidu.com/‘) #创建一个检测对象 detector = UniversalDetector() for line in usock.readlines(): #分块进行测试,直到达到阈值 detector.feed(line) if detector.done: break #关闭检测对象 detector.close() usock.close() #输出检测结果 print detector.result 运行结果: {‘confidence‘: 0.99, ‘encoding‘: ‘GB2312‘}
应用背景,如果要对一个大文件进行编码识别,使用这种高级的方法,可以只读一部,去判别编码方式从而提高检测速度。
标签:urlopen blog 环境 介绍 引用 提示 print packages universal
原文地址:http://www.cnblogs.com/zhaobang/p/7402388.html