码迷,mamicode.com
首页 > 编程语言 > 详细

Python3爬虫(四)请求库的使用requests

时间:2018-04-27 12:25:53      阅读:226      评论:0      收藏:0      [点我收藏+]

标签:格式   head   orm   str   with   代理设置   pre   视频   进制   

 Infi-chu:

http://www.cnblogs.com/Infi-chu/

一、基本用法:

1. 安装:

pip install requests

2. 例子:

import requests
url = ‘http://www.baidu.com‘
r = requests.get(url)
print(type(r))    # 类型是str(JSON格式)
print(r.status_code)
print(r.text)
print(r.cookies)

【注】其余请求方法也是一样的

r = requests.post(url)
r = requests.put(url)
r = requests.delete(url)
r = requests.head(url)
r = requests.options(url)

3. GET请求:

  • 例子
import requests
url = ‘http://www.baidu.com‘
r = requests.get(url)
print(r.text)

 若想在url中添加参数有两种方式:

  a. 直接添加

r = requests.get(url+参数)

  b. 通过params参数添加

import requests
data = {"name":"Infi-chu","age":"23"}
r = requests.get(url,params=data)

网页的返回类型是str类型,是JSON格式的,我们可以直接调用 json()方法

若返回结果不是JSON格式,便会出现解析错误,抛出 json.decode.JSONDecodeError异常

  • 抓取网页

可使用正则表达式和headers。

  • 抓取二进制数据

图片、音频、视频等文件本质上都是二进制码组成的。

抓取GitHub图标:

import requests
r = requests.get("http://github.com/favicon.ico")
print(r.text)
print(r.content)
# 保存图片
with open(‘favicon.ico‘,‘wb‘) as f:
    f.write(r.content)
  • 添加headers

在爬取知乎时必须在User-Agent中加入信息,否则不能爬取,会被拦截

4. POST请求

improt requests
data = {‘name‘:‘Infi-chu‘,‘age‘=‘23‘}
r = requests.post(‘http://www.baidu.com‘,data=data)

 成功后会在form中看到所提交的数据(F12查看)

5. 响应

发送数据后,得到的就是响应,我们使用text和content获取了内容,下面是另外的信息:

import requests
r = requests.get(‘http://www.baidu.com‘)
print(type(r.status_code),r.status_code)
print(type(r.headers),r.headers)
print(type(r.cookies),r.cookies)
print(type(r.history),r.history)
print(type(r.url),r.url)

 headers 属性返回 CaseInsensitiveDict 类型

 cookies 属性返回 RequestsCookieJar 类型

二、高级用法:

1.文件上传

import requests
f = {‘file‘:open(‘favicon.ico‘,‘rb‘)}
r = requests.post(url,files=f)
print(r.text)

2.Cookies

import requests
r = requests.get(url)
print(r.cookies)
for k,v in r.cookies.items():
    print(k+"="+v)

3.会话维持

使用Session对象

import requests
s = requests.Session()
s.get(‘http://httpbin.org/cookies/set/number/123456789‘)
r = s.get(‘http://httpbin.org/cookies‘)
print(r.text)

4.SSL证书验证

requests提供了证书验证的功能,使用verify参数控制是否检查此证书,默认是True,会自动验证

5.代理设置

对于某些网站,在测试的时候请求几次,能正常获取信息,但是一旦大规模爬取,可能会出现验证码或直接封掉IP,导致一段时间内无法访问

代理设置:

import requests
proxy = {‘http‘:‘http://ip:port‘,‘https‘:‘https://ip:port‘}
requests.get(‘https://www.taobao.com‘,proxies=proxy)

6.超时设置

import requests
r = requests.get(‘https://www.taobao.com‘,timeout=1)
print(r.status_code)

  

7.身份认证

import requests
from requests.auth import HTTPBasicAuth
r = requests.get(url,auth=HTTPBasicAuth(‘username‘,‘password‘))
print(r.status_code)

# 可简写为
r = requests.get(url,auth=(‘username‘,‘password‘))
print(r.status_code)
# 也提供了OAuth认证,使用 pip3 install requests_oauthlib

8.Prepared Request

将请求表示为数据结构,这个数据结构叫Prepared Request

Python3爬虫(四)请求库的使用requests

标签:格式   head   orm   str   with   代理设置   pre   视频   进制   

原文地址:https://www.cnblogs.com/Infi-chu/p/8961065.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!