码迷,mamicode.com
首页 >  
搜索关键字:urllib    ( 2222个结果
[python爬虫]使用urllib函数urlretrieve报错[socket error][Errno 10054]
为了练手,使用爬虫爬一个“你懂得”图床的,使用的是urlretrieve函数,不但速度慢,还总是会报错,不是open的timeout就是上面提到的socket error。在网上找了许多办法诸如在urllib2.Request.urlopen().read()后需要调用close()关闭等方法并未奏效。 由于不想麻烦scrapy等库,所以发现了个简单粗暴的办法: 直接使用urllib自带的ope...
分类:编程语言   时间:2015-04-26 13:54:36    阅读次数:295
[python][爬虫]暴漫gif下载
说明:和上一个下载百度贴吧图片差不多,修改了正则,加入了页码控制#!/usr/bin/env python #! -*- coding: utf-8 -*- #图片地址样例:src="http://ww2.sinaimg.cn/large/005Yan1vjw1erf95qkbfog307e08uu0y.gif" style="width:460px" import urllib,urllib2 i...
分类:编程语言   时间:2015-04-26 13:53:49    阅读次数:160
在sublime text 3中安装中文支持
1、安装package control 使用control+~打开终端,然后输入以下内容并确定: import  urllib.request,os;pf='Package Control.sublime-package';ipp=sublime.installed_packages_path();urllib.request.install_opener(urllib.request.b...
分类:其他好文   时间:2015-04-24 22:46:18    阅读次数:154
Python urllib和urllib2模块学习(二)
前面介绍了 urllib 模块,以及它常用的 urlopen() 和 urlretrieve()函数的使用介绍。当然 urllib 还有一些其它很有用的辅助方法,比如对 url 进行编码、解码等等。辅助方法:1. urllib.quote(string[,safe]) : 对字符串进行编码,参数sa...
分类:编程语言   时间:2015-04-24 16:11:11    阅读次数:137
Python urllib和urllib2模块学习
Python标准库中有许多实用的工具类,但是在具体使用时,标准库文档上对使用细节描述的并不清楚,比如 urllib和urllib2 这个 HTTP 客户端库。这里总结了一些 urllib和urlib2 库的使用细节。Python urllib 库提供了一个从指定的 URL 地址获取网页数据,然后对其...
分类:编程语言   时间:2015-04-24 14:05:03    阅读次数:193
[python][爬虫]从网页中下载图片
说明:仅为测试下载图片、正则表达式 测试url为钢铁侠贴吧的一个介绍mark各代盔甲帖子 以下代码将第一页的图片全部下载到本程序根目录#!/usr/bin/env python #! -*- coding: utf-8 -*- import urllib,urllib2 import re #返回网页源代码 def getHtml(url): html = urllib2.urlopen...
分类:编程语言   时间:2015-04-23 13:27:53    阅读次数:184
[python]urllib与urllib2的常用函数
可以把urllib2当作urllib的扩增,比较明显的优势是urllib2.urlopen可以接受Request对象作为参数,从而可以控制HTTP Request的headers,进而实现模拟浏览器、模拟登录等操作。 做HTTP Request时应当尽量使用urllib2库,但是urllib.urlretrieve函数以及urllib.quote等一系列quote和unquote功能没有被加入ur...
分类:编程语言   时间:2015-04-23 13:27:14    阅读次数:128
python扒取c++视频示例
#!/usr/bin/pytyon # -*- coding:utf-8 -*- import re import urllib vurl = 'http://www.enet.com.cn/eschool/video/c++/' domain = 'http://www.enet.com.cn' def getVideoList(vurl): #find all c++ url ...
分类:编程语言   时间:2015-04-20 11:15:57    阅读次数:178
Python爬虫原理的小demo
案例讲解import urllib #调用uerllib import webbrowser url = 'http://blog.csdn.net/xlgen157387' content = urllib.urlopen(url).read() open('test.html','w').write(content) #写入到test.html文件中 webbrowser.open_new_...
分类:编程语言   时间:2015-04-18 16:11:40    阅读次数:175
解释Python编写vim插件
Vim插件是一个.vim的脚本文件,定义了函数、映射、语法规则和命令,可用于操作窗口、缓冲以及行。一般一个插件包含了命令定义和事件钩子。当使用 Python编写vim插件时,函数外面是使用VimL编写,尽管VimL学起来很快,但Python更加灵活,例如可以用 urllib/httplib/simplejson来..
分类:编程语言   时间:2015-04-18 14:42:36    阅读次数:220
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!