Python下载网络图片

  1 #coding=utf-8
  2 
  3 import re
  4 import requests
  5 import urllib
  6 import os
  7 import MySQLdb
  8 
  9 #初始化配置参数
 10 path = ‘img/‘ #图片存放目录
 11 tableName0 = ‘imgTable‘ #表名
 12 #文件操作，如果不存在该目录，创建文件夹
 13 if not os.path.exists(path):
 14     os.makedirs(path)
 15 
 16 # 连接数据库 mysql
 17 conn= MySQLdb.connect(
 18         host=‘localhost‘,
 19         port = 3306,
 20         user=‘root‘,
 21         passwd=‘123‘,
 22         db =‘test‘,
 23         charset=‘utf8‘,
 24         )
 25 cur = conn.cursor()
 26 print "连接成功"
 27 
 28 # 如果数据表已经存在使用 execute() 方法删除表。
 29 cur.execute("DROP TABLE IF EXISTS %s" % tableName0)
 30 #创建数据表
 31 cur.execute("create table %s(num varchar(2) ,name varchar(200),url varchar(200))" % tableName0)
 32 
 33 #获取html网页
 34 def getHtml(url):
 35     page = urllib.urlopen(url)
 36     html = page.read()
 37     return html
 38 
 39 #根据网页内容获取图片地址列表
 40 def getImg(html):
 41     reg = r‘" src="(.+?\=550x0)" style="‘
 42     imgre = re.compile(reg)
 43     imglist = imgre.findall(html)
 44     print imglist
 45     return imglist
 46 #t图片保存
 47 def save_img(url,path):
 48     message = None
 49     print path
 50     try:
 51         file = open(path + os.path.basename(url),‘wb‘)
 52         request = urllib.urlopen(url)
 53         file.write(request.read())
 54     except Exception as e:
 55         #捕获异常，定义异常实例e，可以捕获除与程序退出sys.exit()相关之外的所有异常
 56         message = str(e)
 57         print message
 58     else:
 59         #如果try中的语句没有引发异常，则执行else中的语句
 60         message = os.path.basename(url)
 61     finally:
 62         #无论是否出现异常，都执行的代码
 63         if not file.closed:
 64             file.close()
 65     return message
 66 
 67 #插入数据
 68 def insertIntoDb(list):
 69     i = 1
 70     for imgurl in list:
 71         id1 = i
 72         urlR = dealURL(imgurl, ‘?imageView&thumbnail=550x0‘)
 73         name = os.path.basename(urlR)
 74         # 插入数据
 75         sql = ‘insert into %s values( \‘%d\‘,\‘%s\‘,\‘%s\‘)‘ % (tableName0, id1, name, urlR)
 76         cur.execute(sql)
 77 
 78 #处理url，处理成以.jpg或.png结尾的url
 79 def dealURL(url,str):
 80     #方法一：截取
 81     # 从左往右，第一个（默认）到倒数第三十个结束，截取间距为1.
 82     # urlTemp = url[:-30:1]
 83     #方法二：替换
 84     urlTemp = url
 85     urlTemp = urlTemp.replace(str,‘‘)
 86     return urlTemp
 87 
 88 #保存图片到本地，在本程序中没用到
 89 def saveImge(imgList):
 90     x = 1
 91     for imgurl in imgList:
 92         #方法一
 93         # urllib.urlretrieve(imgurl, ‘%s.jpg‘ % x)
 94         # print imgurl
 95 
 96         #方法二，可定义存储位置
 97         pic = requests.get(imgurl, timeout=10)
 98         string = path + str(x) + ‘.jpg‘
 99         fp = open(string, ‘wb‘)
100         fp.write(pic.content)
101         fp.close()
102 
103         #方法三，图片名为url后面的一串
104         # path1 = path + str(x)+‘--‘   #添加数字方便统计
105         # save_img(imgurl,path1)
106 
107         x += 1
108 
109 # 方法四，从数据库获取，然后下载
110 def saveImageFromDb():
111     # 获得表中有多少条数据
112     allData = cur.execute("select * from %s" % tableName0)
113     print allData
114     # 打印表中的多少数据
115     list = cur.fetchmany(allData)
116     x=1
117     for data in list:
118         path1 = path + str(x) + ‘--‘
119         #data有三项，分别[0,1,2]，对应的为[num,name,url]
120         url= data[2]
121         print url
122         save_img(url, path1)
123         x+=1
124     print "保存完成"
125 
126 html = getHtml("http://news.163.com/17/0831/07/CT5B1SJB000181BT.html")
127 imgList123 = getImg(html)
128 insertIntoDb(imgList123)
129 saveImageFromDb()
130 # saveImge(imgList123)
131 
132 # #翻转测试
133 # sStr1 = ‘abcdefg‘
134 # sStr1 = sStr1[::-1]
135 # print sStr1
136 
137 #截取测试
138 # str = ‘0123456789‘
139 # print "1:",str[:-1:2]
140 # print "2:",str[:0:-3]
141 # print "3:",str[-8:8:2]
142 # print "4:",str[-2:2:-2]
143 # print "5:",str[:-1:]
144 # print "6:",str[::]
145 # print "7:",str[::-1][:3]
146 
147 #关闭数据库
148 cur.close()
149 conn.commit()
150 conn.close()