码迷,mamicode.com
首页 > 其他好文 > 详细

使用requests库发起gbk编码的get请求

时间:2017-12-23 01:05:40      阅读:286      评论:0      收藏:0      [点我收藏+]

标签:class   param   markdown   pos   import   byte   log   utf8编码   span   

有一个爬虫,查询需要发起get请求,这个网站整个都是gbk编码
如果直接发起请求,是不可以的,因为请求参数q首先用utf8编码转化成bytes,然后将bytes进行URLEncode变为字符串。

resp=requests.get("http://haha.com",params={
    "q":"你好"
})
print(resp.url)

第一种解决方法:直接使用bytes,而不用字符串,则可以避免将字符串用utf8编码

res = requests.get("http://www.baidu.com", params={
    'q': bytes('天下大势为我所控', 'gbk')
})

第二种解决方法,直接拼串

url="http://www.baidu.com/"+requests.utils.quote("天下大势为我所控",encoding='gbk')
requests.get(url)

第三种解决方法,使用PreparedRequest

from requests.models import PreparedRequest 
p=PreparedRequest()
s=p.prepare_url("http://www.baidu.com",params={
    'q':bytes('天下大势为我所控','gbk')
})
print(p.url)

作为一个纯python的库,requests还是很值得研究的。

使用requests库发起gbk编码的get请求

标签:class   param   markdown   pos   import   byte   log   utf8编码   span   

原文地址:http://www.cnblogs.com/weidiao/p/8088085.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!