码迷,mamicode.com
首页 > 其他好文 > 详细

pytho爬虫之requests的使用

时间:2019-06-16 21:37:16      阅读:199      评论:0      收藏:0      [点我收藏+]

标签:idt   pytho   ike   请求方式   utf-8   查找   图片   enc   odi   

一、requests库的安装

(1)、pip3 install requests

(2)、在pycharm中进行安装

          技术图片

 

二、基于HTTP协议的requests的请求机制

 1、http协议:(以请求百度为例)
  (1)请求url:
      https://www.baidu.com/

  (2)请求方式:
    GET

  (3)请求头:
    Cookie: 可能需要关注。
    User-Agent: 用来证明你是浏览器
    注意: 去浏览器的request headers中查找
    Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36
    Host: www.baidu.com
  

 2、浏览器的使用

 

          技术图片

  3、爬取百度主页 

 1 import requests
 2 
 3 response = requests.get(url=https://www.baidu.com/)
 4 response.encoding = utf-8
 5 print(response)  # <Response [200]>
 6 # 返回响应状态码
 7 print(response.status_code)  # 200
 8 # 返回响应文本
 9 # print(response.text)
10 print(type(response.text))  # <class ‘str‘>
11 #将爬取的内容写入xxx.html文件
12 with open(baidu.html, w, encoding=utf-8) as f:
13     f.write(response.text)
 

 

三、爬取“梨视频”中的视频

1 # 爬取梨视频
2 import requests
3 url=https://video.pearvideo.com/mp4/adshort/20190613/cont-1565846-14013215_adpkg-ad_hd.mp4
4 res = requests.get(url)
5 #将爬取的视频写入文件
6 with open(梨视频.mp4, wb) as f:
7     f.write(res.content)

 

  

 

pytho爬虫之requests的使用

标签:idt   pytho   ike   请求方式   utf-8   查找   图片   enc   odi   

原文地址:https://www.cnblogs.com/lweiser/p/11033005.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!