码迷,mamicode.com
首页 > Web开发 > 详细

解决爬虫时网站采用gb2312编码所遇到的乱码问题!

时间:2018-09-26 16:12:11      阅读:191      评论:0      收藏:0      [点我收藏+]

标签:get   乱码问题   bs4   解决   爬虫   text   5.0   乱码   app   

import requests
from bs4 import BeautifulSoupall_url = http://www.7160.com/qingchunmeinv/

# 请求头
header = {
    User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.1.2107.204 Safari/537.36
}

start_html = requests.get(all_url,headers = header)
html = start_html.text.encode(iso-8859-1).decode(gbk)  # 将gb2312转为UTF-8格式
print(html)

 

解决爬虫时网站采用gb2312编码所遇到的乱码问题!

标签:get   乱码问题   bs4   解决   爬虫   text   5.0   乱码   app   

原文地址:https://www.cnblogs.com/zhuifeng-mayi/p/9707091.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!