码迷,mamicode.com
首页 > 编程语言 > 详细

python爬取网页图片

时间:2017-08-02 19:09:14      阅读:201      评论:0      收藏:0      [点我收藏+]

标签:lis   img   utf-8   图片   blog   logs   inf   pre   retrieve   

在Python中使用正则表达式,一个小小的爬虫,抓取百科词条网页的jpg图片。下面就是我的代码,作为参考:

#coding=utf-8
# __author__ = ‘Hinfa‘
import re
import os
from urllib import request as req

url=‘https://baike.baidu.com/item/%E5%B9%BF%E5%B7%9E/72101?fr=aladdin‘
path=‘Test//百科广州图片2‘
os.mkdir(path)
fo=open(path+‘//filecatalog.txt‘,‘w+‘)
fo.write(‘爬取jpg目录:‘)
page=req.urlopen(url)
html=page.read().decode(‘utf-8‘)
jpgre=re.compile(r‘https.*?\.jpg‘)
jpglist=re.findall(jpgre,html)
i=0
for jpg in jpglist:
    jpg=re.sub(r‘\\\/‘,‘/‘,jpg)
    print(jpg)    
    filepath=path+‘//%d.jpg‘%i
    fo.write(‘\n‘+jpg)
    req.urlretrieve(jpg,filepath)
    i+=1
fo.write(‘\n‘+‘爬取共计‘+str(i)+‘个‘)
fo.flush()
fo.close()

程序运行结果:

技术分享

然后打开目录文件里生成的filecatalog.txt文件,爬取的内容如下:

技术分享

目录地址下载的图片:

技术分享

第一次爬虫,很兴奋,也觉得很神奇:-)

python爬取网页图片

标签:lis   img   utf-8   图片   blog   logs   inf   pre   retrieve   

原文地址:http://www.cnblogs.com/zhengxianfa/p/7272352.html

踩
(0)
赞
(0)
   
举报
评论 一句话评论(0)
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!