码迷,mamicode.com
首页 > 编程语言 > 详细

python笔记——爬虫2

时间:2015-11-01 00:13:43      阅读:202      评论:0      收藏:0      [点我收藏+]

标签:

网页抓取:把URL地址中指定的网络资源从网络流中读取出来,保存到本地。

在python中,使用urllib2来抓取网页。urlopen函数的形式提供了一个非常简单的接口

 

函数:urlopen(url, data, timeout)
        
        url:网址     data:访问URL时要传送的数据   timeout:设置超时时间
 
 

 

1 import urllib2
2 response=urllib2.urlopen(http://www.hao123.com) #调用的是urllib2库里面的urlopen方法,传入一个URL
3 html=response.read()   #response对象有一个read方法,可以返回获取到的网页内容
4 print(html)

技术分享

urllib2用一个Request对象来映射你提出的HTTP请求。

在它最简单的使用形式中你将用你要请求的地址创建一个Request对象,

通过调用urlopen并传入Request对象,将返回一个相关请求response对象,

这个应答对象如同一个文件对象,所以你可以在Response中调用.read()。

1 import urllib2
2 req=urllib2.Request(http://www.hao123.com)
3 response=urllib2.urlopen(req)   #返回信息便保存在response对象里面
4 the_page=response.read()
5 print(the_page)

 

技术分享

 

python笔记——爬虫2

标签:

原文地址:http://www.cnblogs.com/wujiadong2014/p/4926415.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!