码迷,mamicode.com
首页 > 编程语言 > 详细

python网络爬虫(1)静态网页抓取

时间:2019-05-31 23:35:06      阅读:162      评论:0      收藏:0      [点我收藏+]

标签:异常   网络爬虫   不显示   内容   发送post请求   爬虫   coding   mozilla   bin   

获取响应内容:

import requests
r=requests.get(‘http://www.santostang.com/‘)
print(r.encoding)
print(r.status_code)
print(r.text)

获取编码,状态(200成功,4xx客户端错误,5xx服务器相应错误),文本,等。

 

定制Request请求

传递URL参数

key_dict = {‘key1‘:‘value1‘,‘key2‘:‘value2‘}
r=requests.get(‘http://httpbin.org/get‘,params=key_dict)
print(r.url)
print(r.text)

定制请求头

headers={‘user-agent‘:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0‘,‘Host‘:‘www.santostang.com‘}
r=requests.get(‘http://www.santostang.com‘,headers=headers)
print(r.status_code)

发送POST请求

POST请求发送表单信息,密码不显示在URL中,数据字典发送时自动编码为表单形式。

key_dict = {‘key1‘:‘value1‘,‘key2‘:‘value2‘}
r=requests.post(‘http://httpbin.org/post‘,data=key_dict)
print(r.url)
print(r.text)

超时并抛出异常

r=requests.get(‘http://www.santostang.com/‘,timeout=0.11)

  

 

python网络爬虫(1)静态网页抓取

标签:异常   网络爬虫   不显示   内容   发送post请求   爬虫   coding   mozilla   bin   

原文地址:https://www.cnblogs.com/bai2018/p/10957787.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!