码迷,mamicode.com
首页 > 编程语言 > 详细

爬取汽车之家新闻图片的python爬虫代码

时间:2019-10-31 18:51:20      阅读:187      评论:0      收藏:0      [点我收藏+]

标签:ext   爬虫   write   name   下载   article   max   https   new   

import requests
from bs4 import BeautifulSoup
respone=requests.get(‘https://www.autohome.com.cn/news/‘)
respone.encoding=‘gbk‘
# print(respone.text)

soup=BeautifulSoup(respone.text,‘html.parser‘)
div=soup.find(name=‘div‘,attrs={‘id‘:‘auto-channel-lazyload-article‘})
li_list=div.find_all(name=‘li‘)

i=1
for li in li_list:
print(‘pro:‘,i)
title=li.find(name=‘h3‘)
if not title:
continue
p=li.find(name=‘p‘)
a=li.find(name=‘a‘)
img=li.find(name=‘img‘)

print(title.text)
print(p.text)
print(‘https:‘+a.attrs.get(‘href‘))
print(‘https:‘+img.get(‘src‘)) #img.get==img.attrs.get


#请求下载图片
src=‘https:‘+img.get(‘src‘)
file_name=src.rsplit(‘/‘,maxsplit=1)[1]
with open(file_name,‘wb‘) as f:
ret=requests.get(src)
f.write(ret.content)

爬取汽车之家新闻图片的python爬虫代码

标签:ext   爬虫   write   name   下载   article   max   https   new   

原文地址:https://www.cnblogs.com/xpptt/p/11772628.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!