码迷,mamicode.com
首页 > 其他好文 > 详细

怎样在谷歌浏览器中爬图片详解

时间:2018-07-07 11:18:30      阅读:568      评论:0      收藏:0      [点我收藏+]

标签:python   爬图片   pen   line   详解   max   readline   tor   rtl   

 

#!/usr/bin/env python
# -*- coding:utf-8 -*-
from icrawler.builtin import GoogleImageCrawler
#keyword = ‘动漫美女‘
import sys
import os
from importlib import reload
reload(sys)
s = os.sep
root = "E:\\image"
for test in os.listdir(root):
    if os.path.isfile(os.path.join(root,test)) and test.__eq__("test.txt"):
        filename = os.path.join(root,test)
        with open(os.path.join(root,test)) as f:
            while 1:
                keyword = f.readline().strip()
                if not keyword:
                    break
                print("---filename---",test)
                google_crawler = GoogleImageCrawler(
                    feeder_threads=1,
                    parser_threads=2,
                    downloader_threads=16,
                    storage={root_dir: keyword})

                google_crawler.crawl(keyword=keyword, max_num=10, file_idx_offset=0)

 

怎样在谷歌浏览器中爬图片详解

标签:python   爬图片   pen   line   详解   max   readline   tor   rtl   

原文地址:https://www.cnblogs.com/tzwx/p/9276625.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!