码迷,mamicode.com
首页 > 其他好文 > 详细

爬虫入门(三)

时间:2018-11-27 12:27:07      阅读:156      评论:0      收藏:0      [点我收藏+]

标签:文件   real   XML   nal   color   col   request   创建   image   

前面我们找到网站的url和伪装浏览器之后就可以写代码了

res = requests.get(add,headers=headers)
soup = BeautifulSoup(res.text,‘lxml‘)
img_list = soup.find_all(‘img‘,attrs={‘class‘:‘lazy image_dtb img-responsive‘})#class 中是下载路径

def download_img(url):
    split_list = url.split(‘/‘)#图片名分割
    filename = split_list.pop()
    path = os.path.join("images")#图片的路径
    # 判断是否有这个文件夹没有的话创建文件夹
    if not os.path.exists(path):
        os.mkdir(path)
    else:
        mypath=os.path.join("images",filename)
        request.urlretrieve(url,filename=mypath)

for img in img_list:
    img_really = img[‘data-original‘]
    download_img(img_really)

  

爬虫入门(三)

标签:文件   real   XML   nal   color   col   request   创建   image   

原文地址:https://www.cnblogs.com/fsrmyc/p/10025510.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!