crawler_exa4

#! /usr/bin/env python
# -*- coding:utf-8 -*-
# Author: Tdcqma

‘‘‘
    获取漏洞目标站点：绿盟安全漏洞通告

v1.0:
    由于网站结构存在变更的可能性，一旦爬虫爬取的页面发生变化则会影响正则表达式的匹配，导致爬虫失效。为了解决这个问题重新架构该爬虫，新的爬虫将分3个部分，即：
    【1】信息收集：一旦网站结构发生变化只需要更改此部分的正则表达式即可，收集的信息需要保存至一个嵌套列表中。
    【2】信息筛选：即使网站结构发生变化也不需要变更此部分。
    【3】信息发送：即使网站结构发生变化也不需要变更此部分。
v1.1
    添加 "风险级别" 功能到报警信息中，由【CVE 通用漏洞与披露】库中获取对应漏洞的风险级别
v1.2
    添加漏洞总数功能
v1.3
    删除"风险级别"选项，因为http://cve.scap.org.cn/站点故障
    优化代码
v1.4
    使用BeautifulSoup模块优化内容搜索
v1.5
    优化模块2（信息筛选），对信息进行按系统分类显示
v1.6
    优化v1.5部分，对代码部分进行函数化整理
‘‘‘

import urllib.request
import ssl,re
import smtplib,email
import datetime
from bs4 import BeautifulSoup

# ---------------------------------------------
# 【1】信息收集，正则表达匹配网站信息，包括date、title、url等，
#      将所有信息保存至sec_all_list列表中
# ---------------------------------------------

f = open("secInfo-lvmeng.txt", ‘w‘, encoding=‘utf-8‘)

# 爬虫爬取当天的漏洞告警信息，也可指定如2017-10-09样式的日期格式用于开发过程中的测试
#today = str(datetime.date.today())
today = "2017-09-28"

# 指定爬虫网站的首页链接
sec_vul_domain = "http://www.nsfocus.net/"

# 生成字典用于保存漏洞网站的跳转链接
vul_dict = {}

# 该变量保存漏洞跳转页面链接：http://www.nsfocus.net/index.php?act=sec_bug
sec_vul_homepage = ""

# 收集所有漏洞信息并保存在列表中
sec_all_list = []

# 将列表漏洞转换为字符串
data_str = ""

# 将需要监控的系统名称添加至该列表即可实现爬虫功能
system_list = ["Apache","Cisco","Samba","Dnsmasq","Microsoft"]

# 该变量保存所有指定系统的格式化后的漏洞信息，邮件发送也是基于该变量里保存的漏洞信息
all_vul_msg = ""

# 计算漏洞总数
count = 0

# 传入不同的page链接以获取相应response
def get_response(vul_url):
    request = urllib.request.Request(vul_url)
    # 当尝试访问https开始当站点时，设置全局取消SSL证书验证
    ssl._create_default_https_context = ssl._create_unverified_context
    response = urllib.request.urlopen(request)
    data = response.read().decode(‘utf-8‘)
    return data

data_homepage = get_response(sec_vul_domain)
soup = BeautifulSoup(data_homepage, features="lxml")
tag1 = soup.find_all(name=‘a‘)
for item in tag1:
    if "安全漏洞" in item:
        # 通过获取标签属性，即使站点结构发生变化也能拿到漏洞页面的链接
        attrs = item.attrs
        vul_dict = attrs.copy()
sec_vul_homepage = vul_dict.get(‘href‘)

# 同一天的爆出的漏洞个数可能要占用好几个页面，需指定被扫描网站需要扫描的网页数范围，默认读取10页
for i in range(10):
    sec_vul_pageNoUrl = sec_vul_homepage +"&type_id=&os=&keyword=&page=%s" % (i+1)
    data_sec_vul = get_response(sec_vul_pageNoUrl)

    if today in data_sec_vul:

        str_re = "<span>"+today+"</span>.*"
        res = re.findall(str_re,data_sec_vul)

        for item in res:
            data_str += item + ‘\n‘

        sec_vul_soup = BeautifulSoup(data_str, features="lxml")
        tag_a = sec_vul_soup.find_all(name=‘a‘)

        for item in tag_a:
            # 生成列表用于收集单独的漏洞信息
            sec_sub_list = []

            # 收集漏洞标题: title
            sec_sub_title = item.string
            sec_sub_list.append(sec_sub_title)

            # 收集漏洞url: sec_sub_url
            item = str(item)
            sub_url = re.findall("vulndb/\d+",item)
            sec_sub_url = sec_vul_domain + sub_url[0]
            sec_sub_list.append(sec_sub_url)

            # 收集漏洞受影响的版本: aff_ver
            data_sec_vul_cve = get_response(sec_sub_url)
            affected_version = re.findall("<blockquote>.*</blockquote>", data_sec_vul_cve, re.S)
            affected_version = str(affected_version[0][12:-13])
            affected_version = affected_version.replace("<br />", "")
            affected_version = affected_version.replace("&gt;",">")
            affected_version = affected_version.replace("&lt;","<")
            aff_ver = affected_version.replace("</blockquote><b>不受影响系统：</b><blockquote>","\n不受影响版本：\n")
            sec_sub_list.append(aff_ver)

            if sec_sub_list not in sec_all_list:
                sec_all_list.append(sec_sub_list)

# ---------------------------------------------
# 【2】信息筛选
# ---------------------------------------------

# 各系统漏洞在筛选后最终会保存至各自msg_***变量中，
# >>>添加新监控系统时需相应添加以下记录<<<
msg_cisco = ">>> CISCO安全通告\n"
msg_apache = "\n>>> APACHE安全通告\n"

# 调用sub_sec_info方法，将漏洞信息格式化输出
def sub_sec_info():
    global count
    count += 1
    sec_info = "\n漏洞名称：" + line[0]                + "\n漏洞链接：" + line[1]                + "\n受影响的系统：\n" + line[2] + ‘\n‘
    return sec_info

# 调用get_sec_info函数，将目标系统或应用名称作为参数传入，即可获取相关爬虫告警信息
def get_sec_info(vul):
    vul = vul.capitalize()
    global msg_cisco
    global msg_apache

    # >>>添加新监控系统时需相应添加以下elif记录<<<
    if vul in line[0]:
        if "Cisco" in vul:
            msg_cisco += sub_sec_info()
        elif "Apache" in vul:
            msg_apache += sub_sec_info()

# 漏洞信息筛选入口函数
for line in sec_all_list:
    for sys in system_list:
        get_sec_info(sys)

# >>>添加新监控系统时需相应添加以下记录<<<
all_vul_msg += msg_cisco
all_vul_msg += msg_apache
all_vul_msg += "\n漏洞总数：【"+str(count)+"】 "

# 为放置数据丢失，同时将筛选后的爬虫信息写入文本f中，f指向secInfo-lvmeng.txt文档。
f.writelines(all_vul_msg)
#print(msg)

# ---------------------------------------------
# 【3】信息发送
# ---------------------------------------------

# 配制收发邮件客户端
chst = email.charset.Charset(input_charset = ‘utf-8‘)
header = ("From: %s\nTo: %s\nSubject: %s\n\n" %
          ("from_mail@163.com",
           "to_mail@163.com",
           chst.header_encode("[爬虫安全通告-绿盟]")))

#借用163smtp服务器发送邮件，将上面读到的报警信息（all_vul_msg）作为邮件正文发送。
email_con = header.encode(‘utf-8‘) + all_vul_msg.encode(‘utf-8‘)
smtp = smtplib.SMTP("smtp.163.com")
smtp.login("from_mail@163.com","from_mail_pass")
smtp.sendmail(‘from_mail@163.com‘,‘to_mail@163.com‘,email_con)
print(‘mail send success!‘)
smtp.quit()