标签：keep 网站 获取 anon port content imp 爬虫 html
提取HTML数据
import requests
from bs4 import BeautifulSoup
url = ‘https://www.douban.com/‘
header = {
‘Accept‘:‘*/*‘,
‘Accept-Encoding‘:‘gzip,deflate,br‘,
‘Accept-Language‘:‘zh-CN‘,
‘Connection‘:‘keep-alive‘,
‘Host‘:‘www.douban.com/‘,
‘Referer‘:‘https://www.douban.com/‘,
‘User-Agent‘:‘……‘}
resp = requests.get(url, headers=header)
print(resp)
soup = BeautifulSoup(resp.text,‘lxml‘)
content = soup.select(‘#anony-time > div > div.main > ul > li:nth-child(5) > a.title‘)
print(content)
在我爬取链家，携程网站时候遇到问题，明明response 200，但select返回是空值。 目前猜测原因是：存放我想获取数据的网址不是在一开始写入的网址，我resp.text没有看见相关数据。这个以后学习如何处理。
提取Json数据
暂时不会，大致看了下，像字典存储
import json
data = ‘{"name":"gy","age":"100","weight":"200"}‘
resp = json.loads(data) #将str型的data通过json.loads转为字典
print(resp[‘name‘])
标签：keep 网站 获取 anon port content imp 爬虫 html
原文地址：https://www.cnblogs.com/break03/p/11568388.html
