Python爬虫的步骤和工具

import requests  #导入库
import re

                   
url =r‘https://www.woyaogexing.com/tupian/keai‘   #链接
response =requests.get(url)                                   #get()函数，得到网页
response.encoding =‘utf-8‘　　　　　　　　　　#让源码中的中文正常显示
html =response.text　　　　　　　　　　　　　#加载网页源码
strs =‘<div class="txList_1 .">.*?src="(.*?)".*?>‘   #正则表达式
patern =re.compile(strs,re.S)　　　　　　　　　#封装成对象，以便多次使用
items =re.findall(patern,html)　　　　　　　　　#匹配
for i in  items:
    with open(‘%d.jpg‘%items.index(i),‘wb‘) as file: #新建文件，以二进制写形式‘wb‘
        url =‘https:‘+i
        file.write(requests.get(url).content)　　　　#写入数据，图片是二进制数据