原因：在linux的机子上没有setuptools可能此机子上的python版本过低http://www.cnblogs.com/kkgreen/archive/2012/08/02/2620425.html参考个他的博客，解决了。shell中输入：wget http://pypi.python.o...
分类：
其他好文 时间：
2015-10-20 21:22:47
阅读次数：
1337
#coding=utf-8import obtainKeywordsimport sys, reimport chardet reload(sys)sys.setdefaultencoding("utf-8")# sys.setdefaultencoding('gb18030') #判断 文本(字符...
分类：
其他好文 时间：
2015-09-27 21:21:20
阅读次数：
187
#!/usr/bin/envpython
#coding=utf-8
‘‘‘
@这个脚本会显示除urls列表中定义的网页的header，在请求时，会随机使用已经定义好的my_headers列表中的User-Agent
并且在最后使用chardet模块，显示出此网页使用的编码
‘‘‘
importurllib2
importrandom
importchardet
urls=[‘htt..
分类：
编程语言 时间：
2015-09-08 16:52:55
阅读次数：
179
问题背景：指定爬虫depth、线程数， python实现并行爬虫 思路： 单线程 实现爬虫类Fetcher 多线程 threading.Thread去调Fetcher 方法：Fetcher 中，用urllib.urlopen打开指定url，读取信息：response = urllib.urlopen(self.url)
content = respon...
分类：
编程语言 时间：
2015-09-07 22:55:23
阅读次数：
248
chardet字符集检测模块chardet 字符集检测模块需要安装pip install chardet 可以检测网页，也可以检测字符串import urllib
import chardet'''
从网页的头部信息可以查看的内容
网页的大小,编码等(有时候可能为空)可以使用chardet来检测网页的编码
'''url = 'http://baidu.com'headerInfo = urllib....
分类：
其他好文 时间：
2015-08-02 01:03:28
阅读次数：
123
加载同目录同名歌词同步显示 #!/usr/bin/python
#?-*-?coding:?utf-8?-*-
import?sys,?os,?time,?subprocess,?re,?chardet
def?load_lrc(lrc_file):
????try:
????????lrc_contains?=...
分类：
编程语言 时间：
2015-07-20 09:24:24
阅读次数：
190
python的字符串编码识别模块（第三方库）：官方地址：http://pypi.python.org/pypi/chardetimport chardetimport urllib# 可根据需要，选择不同的数据TestData = urllib.urlopen('http://www.baidu.c...
分类：
编程语言 时间：
2015-06-14 18:15:17
阅读次数：
118
[root@master conn]# pip install chardet==2.2.1 Collecting chardet==2.2.1 /usr/lib/python2.6/site-packages/pip/_vendor/requests/packages/urllib3/util/ssl_.py:79: InsecurePlatformWarning: A true SSLC...
分类：
其他好文 时间：
2015-05-18 17:00:05
阅读次数：
691
本文使用python，结合beautifulsoup，chardet，通过解析网页的方式，使用中国站长的接口，获取whois信息。...
分类：
编程语言 时间：
2015-05-13 22:03:08
阅读次数：
564
scrapy进行页面抓去的时候，保存的文件出现乱码，经过分析是编码的原因，只需要把编码转换为utf-8即可，代码片段......import chardet ...... content_type = chardet.detect(html_content) #print(content_typ.....
分类：
编程语言 时间：
2015-04-17 13:24:59
阅读次数：
167
