相比于Python内置的urllib模块，使用requests可以更好地处理URL资源。
1、使用requests
1）通过GET访问一个页面
>>> import requests
>>> r = requests.get('https://www.douban.com/') # 豆瓣首页
>>> r.status_code
200
>>> r.text
r.text
'<!DOCTYPE HTML>\n<html>\n<head>\n<meta name="description" content="提供图书、电影、音乐唱片的推荐、评论和...'
2）对于带参数的URL，传入一个dict作为params参数：
>>> r = requests.get('https://www.douban.com/search', params={'q': 'python', 'cat': '1001'})
>>> r.url # 我们实际请求的URL
'https://www.douban.com/search?q=python&cat=1001'
3）requests自动检测编码，可以使用encoding属性查看
>>> r.encoding
'utf-8'
4）无论响应是文本还是二进制内容，我们都可以用content属性获得bytes对象
>>> r.content
b'<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv="Content-Type" content="text/html; charset=utf-8">\n...'
4）对于特定类型的响应，例如JSON，可以直接获取
>>> r = requests.get('https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20weather.forecast%20where%20woeid%20%3D%202151330&format=json')
>>> r.json()
{'query': {'count': 1, 'created': '2017-11-17T07:14:12Z', …
5）需要传入HTTP Header时，我们传入一个dict作为headers参数：
>>> r = requests.get('https://www.douban.com/', headers={'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'})
>>> r.text
'<!DOCTYPE html>\n<html>\n<head>\n<meta charset="UTF-8">\n <title>豆瓣(手机版)</title>...'
6）发送POST请求，只需要把get()方法变成post()，然后传入data参数作为POST请求的数据
>>> r = requests.post('https://accounts.douban.com/login', data={'form_email': 'abc@example.com', 'form_password': '123456'})
把post()方法替换为put()，delete()等，就可以以PUT或DELETE方式请求资源
7）requests默认使用application/x-www-form-urlencoded对POST数据编码。如果要传递JSON数据，可以直接传入json参数
params = {'key': 'value'}
r = requests.post(url, json=params) # 内部自动序列化为JSON
8）上传文件需要更复杂的编码格式，但是requests把它简化成files参数
>>> upload_files = {'file': open('report.xls', 'rb')} #注意标示符b，这样获取的bytes长度才是文件的长度
>>> r = requests.post(url, files=upload_files)
9）获取响应头
>>> r.headers
{Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Content-Encoding': 'gzip', ...}
>>> r.headers['Content-Type']
'text/html; charset=utf-8'
10）获取指定的Cookie
>>> cs = {'token': '12345', 'status': 'working'}
>>> r = requests.get(url, cookies=cs)
11）要指定超时，传入以秒为单位的timeout参数
>>> r = requests.get(url, timeout=2.5) # 2.5秒后超时
原文地址：http://blog.51cto.com/12758568/2117156
