码迷,mamicode.com
首页 > 其他好文 > 详细

爬虫存储器

时间:2018-08-23 21:05:44      阅读:172      评论:0      收藏:0      [点我收藏+]

标签:code   utils   代码   smt   hide   ext   hid   管理员   quit   

 

爬虫数据存储

 

1、 HTML正文抽取

 

1.1、存储为json

  首先使用Requests访问http://seputu.com/,获取HTML文档内容,并打印内容,代码如下

 

 

 

 

 

 

 

 

 

1.2、爬虫异常发送邮件

开启网易邮件的第三方设置

技术分享图片

获取邮箱授权码

技术分享图片

 


构造MIMEText对象时需要3个参数:邮件正文,MIME的subtype,传入‘plain‘表示纯文本,最终的MIME就是‘text/plain‘,设置编码格式,utf-8编码保证多语言兼容性。
接着设置邮件的发件人、收件人和邮件主题等消息,并通过STMP发送出去。代码如下

 

技术分享图片
#构造MIMEText对象时需要3个参数:邮件正文,MIME的subtype,传入‘plain‘表示纯文本,最终的MIME就是‘text/plain‘,设置编码格式,utf-8编码保证多语言兼容性。
#接着设置邮件的发件人、收件人和邮件主题等消息,并通过STMP发送出去。代码如下
from email.header import Header
from email.mime.text import MIMEText
from email.utils import parseaddr,formataddr
import smtplib

def _format_adrr(s):
    print(s)
    name,addr=parseaddr(s)
    print(name,addr)
    return formataddr((Header(name,utf-8).encode(),addr))

from_addr=15200723046@163.com #发件人地址
password=951127chenyang      #邮箱授权码
to_addr=794418323@qq.com
smtp_server=smtp.163.com  #163网易邮箱服务器的地址
#设置邮件信息
msg=MIMEText(Python爬虫运行异常,异常信息为遇到HTTP 403,plain,utf-8) #发送的文本
msg[From]=_format_adrr(一号爬虫<%s>%from_addr)    #爬虫名
msg[To]=_format_adrr(管理员<%s>%to_addr)
msg[Subject]=Header(一号爬虫运行状态,utf-8).encode()
# 发送邮件
server=smtplib.SMTP(smtp_server,25)    #使用的邮件服务器地址和端口
server.login(from_addr,password)    #发件人的邮件和密码
server.sendmail(from_addr,[to_addr],msg.as_string())    #发送邮件
server.quit()     #关闭连接端口
发送邮件代码

 

爬虫存储器

标签:code   utils   代码   smt   hide   ext   hid   管理员   quit   

原文地址:https://www.cnblogs.com/zcfx/p/9526000.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!