码迷,mamicode.com
首页 > 其他好文 > 详细

从百度图片批量获取自己想要的图片

时间:2018-06-27 11:31:40      阅读:227      评论:0      收藏:0      [点我收藏+]

标签:request   西班牙语   ade   path   except   5.0   lower   from   西班牙   

# -*- coding: utf-8 -*-
# @Author : Felix Wang
# @time   : 2018/6/26 17:35

import re
import requests
import json
import random
from multiprocessing import Pool

# 翻译
def translate(content, tolang=zh, fromlang=None):
    User_Agent = [
        Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Mobile Safari/537.36,
        Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Mobile Safari/537.36,
        Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E304 Safari/602.1,
        Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1,
    ]
    datas = {
        query: content,
    }
    # 自动获取语言类型
    if not fromlang:
        fromlang = json.loads(requests.post(http://fanyi.baidu.com/langdetect, data=datas).text)[lan]
    # print(fromlang)
    data = {
        from: fromlang,
        to: tolang,
        query: content,

    }
    url = http://fanyi.baidu.com/basetrans

    headers = {
        User-Agent: random.choice(User_Agent)
    }
    try:
        res = requests.post(url=url, data=data, headers=headers)
        # print(res.text)
        result = json.loads(res.text)
        return result[trans][0][dst]
    except Exception as e:
        print(翻译出错)
        print(e)

    ‘‘‘
    zh    中文
    en    英语
    yue    粤语
    wyw    文言文
    jp    日语
    kor    韩语
    fra    法语
    spa    西班牙语
    th    泰语
    ara    阿拉伯语
    ru    俄语
    pt    葡萄牙语
    de    德语
    it    意大利语
    el    希腊语
    nl    荷兰语
    pl    波兰语
    bul    保加利亚语
    est    爱沙尼亚语
    dan    丹麦语
    fin    芬兰语
    cs    捷克语
    rom    罗马尼亚语
    slo    斯洛文尼亚语
    swe    瑞典语
    hu    匈牙利语
    cht    繁体中文
    vie    越南语
    ‘‘‘

# 创建文件夹
def mkdir(path):
    # 引入模块
    import os
    # 去除首位空格
    path = path.strip()
    # 去除尾部 \ 符号
    path = path.rstrip("\\")
    # 判断路径是否存在
    # 存在     True
    # 不存在   False
    isExists = os.path.exists(path)
    # 判断结果
    if not isExists:
        # 如果不存在则创建目录
        # 创建目录操作函数
        os.makedirs(path)
        print(path +  创建成功)
        return True
    else:
        # 如果目录存在则不创建,并提示目录已存在
        print(path +  目录已存在)
        return False

# 访问百度图片获取信息
def get_data(name, pn):
    keys = {
        tn: baiduimage,
        word: str(name),
        pn: str(pn),  # 从0开始30的倍数
        rn: 30,
    }
    baseurl = https://image.baidu.com/search/index

    response = requests.get(baseurl, params=keys)
    return response
    # with open(‘a.html‘, ‘wb‘)as f:
    #     f.write(response.content)

# 获取图片地址
def get_img_url(response):
    p = re.compile("thumbURL":"(.*?jpg)", re.S)
    urls = p.findall(str(response.text))
    print(urls)
    return urls

# 下载一张图片
def get_one_img(url, img_path, img_name):
    content = requests.get(url).content
    with open({}/{}.jpg.format(img_path, img_name), wb) as f:
        print(img_name + 下载成功)
        f.write(content)

# 获取某路径下某扩展名的详情信息(文件个数和文件名)
def get_file_count(path, type):
    """
    :param path: 文件夹路径
    :param type: 文件扩展名
    :return: 返回一个字典,counts表示文件个数,filenames表示所有文件的文件名
    """
    import os.path
    dir = path
    m = 0
    files = []
    for parentdir, dirname, filenames in os.walk(dir):
        for filename in filenames:
            # print(filename)
            files.append(filename)
            if os.path.splitext(filename)[1] == type:
                m = m + 1
    # print(m)
    return {counts: m, filenames: files}


# 获取所需的图片
def get_needs_imgs(imgs_needs, img_type):
    tran_img_type = str(translate(img_type, en)).lower()  # 翻译完之后所有字母小写

    img_path = imgs/ + tran_img_type  # 图片存储路径
    mkdir(img_path)  # 创建文件夹

    img_pg = 0  # 30的倍数
    while True:
        files_details = get_file_count(img_path, .jpg)  # 查看当前目录下已经有多少图片
        count = files_details[counts]  # 获取指定路径下有多少文件
        count2 = count
        if count2 >= imgs_needs:
            print(指定文件夹下已经有{}张图片了.format(str(imgs_needs)))
            break
        res = get_data(img_type, img_pg)
        urls = get_img_url(res)
        for url in urls:
            get_one_img(url, img_path, tran_img_type + str(count2))
            count2 = count2 + 1
            if count2 >= imgs_needs:
                break
        img_pg += 30


# 主要是为了多进程
def main(img_type):
    get_needs_imgs(imgs_needs=imgs_needs, img_type=img_type)


imgs_needs = 20  # 需要多少张图片
img_types = [吉他, 兔子]  # 需要什么图片
# get_needs_imgs(imgs_needs, img_type)


if __name__ == __main__:
    # 使用多进程
    pool = Pool()
    pool.map(main, img_types)

 

从百度图片批量获取自己想要的图片

标签:request   西班牙语   ade   path   except   5.0   lower   from   西班牙   

原文地址:https://www.cnblogs.com/felixwang2/p/9232864.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!