标签：blog   class   code   string   cti   line   window   不同的   table   user   app   

Python Urllib2和Cookielib的综合使用

标签（空格分隔）： Python Urllib2 Fetch

1. 手动添加请求的Headers，在opener,Request,urlopen，看看有几种方法可以使用相同的Headers处理不同的网页；
2. 设定CookieJar，设定cookielib.Cookie()
3. 手动添加Headers，并设定CookieJar，看看能否自动处理；

1.手动添加Headers

1.1 添加到opener上

1.2 Request对象

Request使用 urllib2.Request(url[, data][, headers][, originreqhost][, unverifiable]) 进行创建，可以看出，url是必需的。所以构建一个Request对象只能打开一个网页。 修改Request的Headers有两种方法

• 直接修改Request.headers 这个字典
• 使用Request.add_header添加一个header

1.3 使用urllib2.urlopen(url[, data][, timeout])

最简单打开一个网页的方法就是直接使用urllib2.urlopen，参数url可以是网址也可以是Request对象。很明显，也不能更换url，甚至不能更改headers。想要添加headers，需要在Request对象里更改。 不过可以使用urllib2.install_opener(opener)修改默认的opener，在使用第一种方法设定好opener的headers后，就可以直接使用urlopen了。所有发送的请求都会自动带上opener的headers。

2 cookielib和CookieJar自动处理

Python Urllib2和Cookielib的综合使用,码迷,mamicode.com

Python Urllib2和Cookielib的综合使用

标签：blog   class   code   string   cti   line   window   不同的   table   user   app   

原文地址：http://www.cnblogs.com/abcat/p/3702349.html