为了练手,使用爬虫爬一个“你懂得”图床的,使用的是urlretrieve函数,不但速度慢,还总是会报错,不是open的timeout就是上面提到的socket error。在网上找了许多办法诸如在urllib2.Request.urlopen().read()后需要调用close()关闭等方法并未奏效。
由于不想麻烦scrapy等库,所以发现了个简单粗暴的办法:
直接使用urllib自带的ope...
分类:
编程语言 时间:
2015-04-26 13:54:36
阅读次数:
295
说明:和上一个下载百度贴吧图片差不多,修改了正则,加入了页码控制#!/usr/bin/env python
#! -*- coding: utf-8 -*-
#图片地址样例:src="http://ww2.sinaimg.cn/large/005Yan1vjw1erf95qkbfog307e08uu0y.gif" style="width:460px"
import urllib,urllib2
i...
分类:
编程语言 时间:
2015-04-26 13:53:49
阅读次数:
160
1、安装package control
使用control+~打开终端,然后输入以下内容并确定:
import urllib.request,os;pf='Package Control.sublime-package';ipp=sublime.installed_packages_path();urllib.request.install_opener(urllib.request.b...
分类:
其他好文 时间:
2015-04-24 22:46:18
阅读次数:
154
前面介绍了 urllib 模块,以及它常用的 urlopen() 和 urlretrieve()函数的使用介绍。当然 urllib 还有一些其它很有用的辅助方法,比如对 url 进行编码、解码等等。辅助方法:1. urllib.quote(string[,safe]) : 对字符串进行编码,参数sa...
分类:
编程语言 时间:
2015-04-24 16:11:11
阅读次数:
137
Python标准库中有许多实用的工具类,但是在具体使用时,标准库文档上对使用细节描述的并不清楚,比如 urllib和urllib2 这个 HTTP 客户端库。这里总结了一些 urllib和urlib2 库的使用细节。Python urllib 库提供了一个从指定的 URL 地址获取网页数据,然后对其...
分类:
编程语言 时间:
2015-04-24 14:05:03
阅读次数:
193
说明:仅为测试下载图片、正则表达式
测试url为钢铁侠贴吧的一个介绍mark各代盔甲帖子
以下代码将第一页的图片全部下载到本程序根目录#!/usr/bin/env python
#! -*- coding: utf-8 -*-
import urllib,urllib2
import re
#返回网页源代码
def getHtml(url):
html = urllib2.urlopen...
分类:
编程语言 时间:
2015-04-23 13:27:53
阅读次数:
184
可以把urllib2当作urllib的扩增,比较明显的优势是urllib2.urlopen可以接受Request对象作为参数,从而可以控制HTTP Request的headers,进而实现模拟浏览器、模拟登录等操作。
做HTTP Request时应当尽量使用urllib2库,但是urllib.urlretrieve函数以及urllib.quote等一系列quote和unquote功能没有被加入ur...
分类:
编程语言 时间:
2015-04-23 13:27:14
阅读次数:
128
#!/usr/bin/pytyon
# -*- coding:utf-8 -*-
import re
import urllib
vurl = 'http://www.enet.com.cn/eschool/video/c++/'
domain = 'http://www.enet.com.cn'
def getVideoList(vurl):
#find all c++ url
...
分类:
编程语言 时间:
2015-04-20 11:15:57
阅读次数:
178
案例讲解import urllib #调用uerllib
import webbrowser
url = 'http://blog.csdn.net/xlgen157387'
content = urllib.urlopen(url).read()
open('test.html','w').write(content) #写入到test.html文件中
webbrowser.open_new_...
分类:
编程语言 时间:
2015-04-18 16:11:40
阅读次数:
175
Vim插件是一个.vim的脚本文件,定义了函数、映射、语法规则和命令,可用于操作窗口、缓冲以及行。一般一个插件包含了命令定义和事件钩子。当使用
Python编写vim插件时,函数外面是使用VimL编写,尽管VimL学起来很快,但Python更加灵活,例如可以用
urllib/httplib/simplejson来..
分类:
编程语言 时间:
2015-04-18 14:42:36
阅读次数:
220