python 爬百度贴吧

标签：htm   mac os   http   open   gecko   int   python   读取   urllib   

import urllib.request
import urllib.parse
url="https://tieba.baidu.com/f"
word=input("请输入要爬的贴吧")
#将贴吧名称变成url码
word=urllib.parse.quote(word)
#完整输入贴吧链接
newUrl=url+"?ie=utf-8&kw="+word
print(newUrl)
ua_headers= {"User-Agent" : "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}

#对网站提出请求
req=urllib.request.Request(newUrl,headers=ua_headers)
#获取网站数据
req1=urllib.request.urlopen(req)
#读取数据，一定要加上编码格式
html=req1.read().decode("utf-8")
print(html)

python 爬百度贴吧

标签：htm   mac os   http   open   gecko   int   python   读取   urllib   

原文地址：https://www.cnblogs.com/w331842/p/13296667.html