下面我们再来看看urllib模块提供的 urlretrieve() 函数。urlretrieve() 方法直接将远程数据下载到本地。>>> help(urllib.urlretrieve)Help on function urlretrieve in module urllib:urlretriev...
分类:
Web程序 时间:
2015-05-02 16:30:54
阅读次数:
132
前面介绍了 urllib 模块,以及它常用的 urlopen() 和 urlretrieve()函数的使用介绍。当然 urllib 还有一些其它很有用的辅助方法,比如对 url 进行编码、解码等等。辅助方法:1. urllib.quote(string[,safe]) : 对字符串进行编码,参数sa...
分类:
编程语言 时间:
2015-04-24 16:11:11
阅读次数:
137
本项目剩下部分主要使用量urllib和LinePlot。
什么是urllib?
urllib模块提供的上层接口,使我们可以像读取本地文件一样读取www和ftp上的数据。
看代码:
import urllib
print urllib.urlopen('http://www.baidu.com').read()
执行效果:
重点需要注意的是urlopen函数:
关于urlo...
分类:
编程语言 时间:
2015-02-10 11:25:37
阅读次数:
306
1 #首先我们可以先获取要下载图片的整个页面信息 2 #coding=utf-8 3 #Urllib 模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp上的数据 4 import urllib 5 import re 6 #首先,我们定义了一个getHtml()函数:....
分类:
编程语言 时间:
2015-01-26 22:25:10
阅读次数:
336
最近在研究Python,熟悉了一些基本语法和模块的使用;现在打算研究一下Python爬虫。学习主要是通过别人的博客和自己下载的一下文档进行的,自己也写一下博客作为记录学习自己过程吧。Python代码写起来和Java的感觉很不一样。Python爬虫主要使用的是urllib模块,Python2.x版本是...
分类:
编程语言 时间:
2014-12-07 20:19:36
阅读次数:
222
Python urllib模块urlopen()与urlretrieve()的使用方法详解。1.urlopen()方法urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象,然后像本地文件一样操作这个类文件对象来获取远程数据。参数url表示...
分类:
编程语言 时间:
2014-11-19 18:07:26
阅读次数:
186
3.0版本中已经将urllib2、urlparse、和robotparser并入了urllib中,并且修改urllib模块,其中包含5个子模块,即是help()中看到的那五个名字。Python2中的urllib模块,在Python3中被修改为20.5. urllib.request — Extens...
分类:
编程语言 时间:
2014-10-29 12:47:18
阅读次数:
373
一,利用网络爬虫来下载韩寒博客文章,主要需要用到以下知识要点:1,简要了解HTML标记语言,熟悉HTTP协议,发现HTML规律2,熟悉urllib模块3,熟悉python在此我利用的是ie8的开发者工具,当然也可以使用比较出名的firebug,这是火狐的一个插件,十分好用。中心思想:获取URL链..
分类:
编程语言 时间:
2014-10-23 06:57:58
阅读次数:
333
简介:urllib2是python的一个获取url(Uniform Resource Locators,统一资源定址器)的模块。它用urlopen函数的形式提供了一个非常简洁的接口。这使得用各种各样的协议获取url成为可能。它同时 也提供了一个稍微复杂的接口来处理常见的状况-如基本的认证,cooki...
分类:
编程语言 时间:
2014-10-13 18:29:17
阅读次数:
185
除了 Http 模块可以模拟 Http 请求外,使用 Urllib 模块也是可以模拟 Http 请求的,只不过功能相对弱一点。1 import urllib.request2 3 opener = urllib.request.urlopen("http://www.baidu.com")4 byt...
分类:
编程语言 时间:
2014-09-28 01:37:30
阅读次数:
205