企业安全建设之路：端口扫描（上）

标签：https   存储   src   思维   金融   des   png   clu   简单   

0×00、业务需求

由于工作关系，最近一年来都奔走在各大安全会议，无论是公开会议，例如:ISC互联网大会、freebuf互联网大会等、还是半公开的会议，例如某SRC组织的互联网金融会等。互联网安全运维人员都在谈自己企业的运维平台是如何建立的。这里我简单用思维导图总结一下：

有一定研发能力的互联网安全团队都在建立自己的安全运管平台。我想这样做的目的是：

（1）半自动化或者全自动化安全运维规则，提高工作效率，降低人力成本。

（2）现有安全厂商提高的产品无法满足用户日益增长业务安全需求，业务架构变更。例如：日志管理部分，传统SIEM是无法满足 50万QPS Web日志处理能力，需要storm/spark架构处理。

（3）降低人员变动带来的业务安全的稳定性

当然这种安全投入是巨大的，而且需要持续发展才能摊平成本。

0×01、端口扫描需求分析

1、竞品获得需求：

2、安全经验获得需求 

3、简单数据挖掘分析获得需求

在此之前做了一部分数据采集工作，表一ip_result.csv主要记录主机IP、域名、是否存活和操作系统类型，表二ports_result.csv主要记录了地址、端口、服务、服务详细描述等，通过对本测试数据集的分析，找到我们的业务需求。首先要了解数据全貌，可以多个维度去分析数据，包括：可视化分析（pandas）、SQL方式分析、excel分析等。

（1）Pandas分析法：

在这之前想说一下为什么要可视化分析，因为，通过图形人们可以判断出趋势，举个小例子：

单纯的几组数字是看不出什么规律和趋势的，但是如果以矩阵的形式可视化后，大家对下一个点的出现就有趋势的判断了。

我们先了解一下我们的数据内容是什么，分别对两张表的数据导入到pandas中。

然后对各个有意思的字段或者字段组合聚类分析，

ip表：os

port表：port、service、product&product_version、scripts_results（address字段由于是公网数据暂时忽略）

pandas分析方法，多字段之间Group by比较麻烦，所以建议使用SQL分析法。

（2）SQL分析法：

把csv数据导入到postgresql数据库，执行：

SELECT port,count(*) as hit from ports_resultGROUP BY port ORDER BY hit DESC

SELECT service,count(*)as hit from ports_resultGROUP BY serviceORDER BY hit DESC

SELECT product,product_version,count(*) as hit from ports_resultGROUP BY product,product_version ORDER BY hit DESC

SELECT scripts_results,count(*)as hit from ports_resultGROUP BY scripts_resultsORDER BY hit DESC

然后通过正则表达式过滤掉一些无用数据，就可以得到我们想要的数据，那么，通过以上数据的简单的分析，我们对已有的安全经验和竞品数据有更深入的了解数据的本质。

（3）机器学习分析

当然可以用更高级的数据挖掘手段去分析，比如：聚类、分类、回归、降维、时间序列、文本挖掘。首先要确定我们挖掘的目的，是确定我们安全报表的需求，也就是聚类的问题，那么如何实现呢？

在这里我们引入sklearn这个机器学习python库，它为我们选择机器学习算法提供了优化的路径：

我们port表中大约有10000多条数据，根据算法选择可以看出，

1、样本数据>50条，不需要获取更多的数据

2、如果是分类的问题，数据是否标记，对于我们的数据来说是没有的，那就进入clustering象限

3、分类类型是已知还是未知的呢？对于我们的数据当然是未知的，因为我们不知道如何分类，这需要算法告诉我们。

4、那么我们的数据样本>1w条，建议使用Kmeans。

我们需要使用的算法已经确定，下一步就是把数据经过清洗后导入算法库运算。这里要注意几个问题：

1、数据要做预处理，去除掉空值

2、把有意义的string项转化成数字类型，方便机器学习算法处理

多说无用，上代码：

最终机器学习分析的图：

经过对k值的调整，发现分4类是最靠谱的。也就是说，对服务的分析做4类足够，http、https、ssh、rdp。

0×02、功能设计

1、设计目的：

备注：当前版本只上线V1.0功能。

2、用户场景

0×03、总结 

本节先简单说到这里，后面会详细描述：详细设计、交互设计、前端实现、后端实现、测试联调、安装部署等环节。本节重点讲述的是如果在需求分析阶段加入数据分析，帮助产品人员更好的设计产品。有不足之处还请各位大佬指教。

* 本文原创作者：bt0sea，本文属FreeBuf原创奖励计划，未经许可禁止转载

企业安全建设之路：端口扫描（上）

标签：https   存储   src   思维   金融   des   png   clu   简单   

原文地址：http://www.cnblogs.com/h2zZhou/p/6546991.html