码迷,mamicode.com
首页 > 其他好文 > 详细

爬取斗图拉前5页图片,并创建相应的目录

时间:2018-12-12 22:08:05      阅读:273      评论:0      收藏:0      [点我收藏+]

标签:img   init   ==   port   ade   enum   exist   param   down   

import requests
import re
import os

class DouTuLaSpider:
    def __init__(self):
        self.url = http://www.doutula.com/article/list/
        self.heade = {
            User-Agent:Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36
        }

    def get_imgUrl(self,pagenum):
        response = requests.get(self.url,headers=self.heade,params={page:pagenum})
        print(response.url)
        html = response.text
        imageList = re.findall(data-original="(.*?)".*?alt="(.*?)",html)
        return imageList

    def download_Img(self,imgList,page):
        floder = 第%d页%(page)
        if not os.path.exists(floder):
            os.mkdir(floder)
        os.chdir(floder)
        for url,title in  imgList:
            title = re.sub([??!,],‘‘,title) + . + url.split(.)[-1]
            print(title)
            data = requests.get(url).content
            with open(title,wb) as f:
                f.write(data)
        os.chdir(..)

    def run(self,page):
        for page in range(1, page+1):
            imagList = self.get_imgUrl(page)
            self.download_Img(imagList, page)



if __name__ == __main__:
    doutula = DouTuLaSpider()
    doutula.run(5)

 

爬取斗图拉前5页图片,并创建相应的目录

标签:img   init   ==   port   ade   enum   exist   param   down   

原文地址:https://www.cnblogs.com/remoting-py/p/10111181.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!