码迷,mamicode.com
首页 > 编程语言 > 详细

Python urllib2 模块学习笔记

时间:2015-03-07 22:42:03      阅读:194      评论:0      收藏:0      [点我收藏+]

标签:

2015.3.6

 urllib2的使用方法大致如下

# 定制Handler处理函数
opener = urllib2.build_opener(ProxyHandler, HTTPHandler)
urllib2.install_opener(opener)
 
# 定制URL参数
request = urllib2.Request()
request.add_headers(xxx)
 
# 打开URL,返回file-like对象
response = urllib2.urlopen(req)
 
# 获得结果
print response.read()
 

关键的处理机制分析

 

urlopen()

是处理的入口函数。
获取  OpenerDirector 对象,调用 Opener.open()。
默认的OpenerDirector 对象保存在变量 _open中。
采用了Singleton模式。
 
build_opener()
是一个对象工厂函数,创建OpenerDirector对象。
内部提供了默认的handler列表,函数传入的handler参数取代默认的handlers。
调用OpenerDirector.add_handler()函数,注册handlers。先注册默认的handler,再注册定制的handler。按照在参数中的顺序进行注册。
 
install_opener()
将OpenerDirector对象保存到变量_opener中,作为默认opener使用。
 
class OpenerDirector
采用了Composite模式。
add_handler():注册handler对象到内部列表中。
open():调用handler列表中每个对象的open方法,触发处理操作。
 
class Request
作为一个信息对象,保存和url相关的参数,包括headers、data、proxy等。用于url参数的传递。
 
class HTTPHandler
类继承关系:BaseHandler -> AbstractHTTPHandler -> HTTPHandler
调用 httplib.HTTPConnection 完成 HTTP的处理。

Python urllib2 模块学习笔记

标签:

原文地址:http://www.cnblogs.com/weichsel/p/4321025.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!