【前言】经过我们的不懈努力，2014年底我们终于发布了大数据安全分析平台（Big Data Security Analytics Platform，简称BDSAP）。那么，到底什么是大数据安全分析？为什么需要大数据安全分析？何时需要？谁需要？应用场景是什么？解决什么问题？有什么价值和意义？大数据安全分析将如何重塑网络安全技术领域？在目前如何建设大数据安全分析平台？从本期开始，我将开启一个新的系列文章——深入大数据安全分析。如果说我在2011年底开始持续到2012年中的《当网络安全遇上大数据分析》系列文章是对业界大数据安全分析的系统化研究的开始的话，那么这个新的系列文章就是我们经过多年研究后获得的一些理解和体会。让我们一起走进大数据安全分析，探究一下他将如何改变我们的网络安全领域吧。
为什么需要大数据安全分析？
Last Updated @ 2015-01-06 by 叶蓬
【关键词】大数据安全分析，大数据
【摘要】大数据改变着我们的方方面面，对于安全分析也不例外。安全要素信息呈现出大数据的特征，而传统的安全分析方法面临重大挑战，信息与网络安全需要基于大数据的安全分析。
毫无疑问，我们已经进入了大数据（Big Data）时代。人类的生产生活每天都在产生大量的数据，并且产生的速度越来越快。根据IDC和EMC的联合调查，到2020年全球数据总量将达到40ZB。2013年，Gartner将大数据列为未来信息架构发展的10大趋势之首。Gartner预测将在2011年到2016年间累计创造2320亿美元的产值。
大数据早就存在，只是一直没有足够的基础实施和技术来对这些数据进行有价值的挖据。随着存储成本的不断下降、以及分析技术的不断进步，尤其是云计算的出现，不少公司已经发现了大数据的巨大价值：它们能揭示其他手段所看不到的新变化趋势，包括需求、供给和顾客习惯等等。比如，银行可以以此对自己的客户有更深入的了解，提供更有个性的定制化服务；银行和保险公司可以发现诈骗和骗保；零售企业更精确探知顾客需求变化，为不同的细分客户群体提供更有针对性的选择；制药企业可以以此为依据开发新药，详细追踪药物疗效，并监测潜在的副作用；安全公司则可以识别更具隐蔽性的攻击、入侵和违规。
当前网络与信息安全领域，正在面临着多种挑战。一方面，企业和组织安全体系架构的日趋复杂，各种类型的安全数据越来越多，传统的分析能力明显力不从心；另一方面，新型威胁的兴起，内控与合规的深入，传统的分析方法存在诸多缺陷，越来越需要分析更多的安全信息、并且要更加快速的做出判定和响应。信息安全也面临大数据带来的挑战。
安全数据的大数据化主要体现在以下三个方面：
1） 数据量越来越大：网络已经从千兆迈向了万兆，网络安全设备要分析的数据包数据量急剧上升。同时，随着NGFW的出现，安全网关要进行应用层协议的分析，分析的数据量更是大增。与此同时，随着安全防御的纵深化，安全监测的内容不断细化，除了传统的攻击监测，还出现了合规监测、应用监测、用户行为监测、性能检测、事务监测，等等，这些都意味着要监测和分析比以往更多的数据。此外，随着APT等新型威胁的兴起，全包捕获技术逐步应用，海量数据处理问题也日益凸显。
2） 速度越来越快：对于网络设备而言，包处理和转发的速度需要更快；对于安管平台、事件分析平台而言，数据源的事件发送速率（EPS，Event per Second，事件数每秒）越来越快。
3） 种类越来越多：除了数据包、日志、资产数据，安全要素信息还加入了漏洞信息、配置信息、身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息等。
安全数据的大数据化，自然引发人们思考如何将大数据技术应用于安全领域。
安全数据的数量、速度、种类的迅速膨胀，不仅带来了海量异构数据的融合、存储和管理的问题，甚至动摇了传统的安全分析方法。
当前绝大多数安全分析工具和方法都是针对小数据量设计的，在面对大数据量时难以为继。新的攻击手段层出不穷，需要检测的数据越来越多，现有的分析技术不堪重负。面对天量的安全要素信息，我们如何才能更加迅捷地感知网络安全态势？
传统的分析方法大都采用基于规则和特征的分析引擎，必须要有规则库和特征库才能工作，而规则和特征只能对已知的攻击和威胁进行描述，无法识别未知的攻击，或者是尚未被描述成规则的攻击和威胁。面对未知攻击和复杂攻击如APT等，需要更有效的分析方法和技术！如何做到知所未知？
面对天量安全数据，传统的集中化安全分析平台（譬如SIEM，安全管理平台等）也遭遇到了诸多瓶颈，主要表现在以下几方面：
高速海量安全数据的采集和存储变得困难
异构数据的存储和管理变得困难
威胁数据源较小，导致系统判断能力有限
对历史数据的检测能力很弱
安全事件的调查效率太低
安全系统相互独立，无有效手段协同工作
分析的方法较少
对于趋势性的东西预测较难，对早期预警的能力比较差
系统交互能力有限，数据展示效果有待提高
从上世纪80年代入侵检测技术的诞生和确立以来，安全分析已经发展了很长的时间。当前，信息与网络安全分析存在两个基本的发展趋势：情境感知的安全分析与智能化的安全分析。
Gartner在2010年的一份报告中指出，“未来的信息安全将是情境感知的和自适应的”。所谓情境感知，就是利用更多的相关性要素信息的综合研判来提升安全决策的能力，包括资产感知、位置感知、拓扑感知、应用感知、身份感知、内容感知，等等。情境感知极大地扩展了安全分析的纵深，纳入了更多的安全要素信息，拉升了分析的空间和时间范围，也必然对传统的安全分析方法提出了挑战。
同样是在2010年，Gartner的另一份报告指出，要“为企业安全智能的兴起做好准备”。在这份报告中，Gartner提出了安全智能的概念，强调必须将过去分散的安全信息进行集成与关联，独立的分析方法和工具进行整合形成交互，从而实现智能化的安全分析与决策。而信息的集成、技术的整合必然导致安全要素信息的迅猛增长，智能的分析必然要求将机器学习、数据挖据等技术应用于安全分析，并且要更快更好地的进行安全决策。
安全数据的大数据化，以及传统安全分析所面临的挑战和发展趋势，都指向了同一个技术——大数据分析。正如Gartner在2011年明确指出，“信息安全正在变成一个大数据分析问题”。
于是，业界出现了将大数据分析技术应用于信息安全的技术——大数据安全分析（Big Data Security Analysis，简称BDSA），也有人称做针对安全的大数据分析（Big Data Analysis for Security）。
借助大数据安全分析技术，能够更好地解决天量安全要素信息的采集、存储的问题，借助基于大数据分析技术的机器学习和数据挖据算法，能够更加智能地洞悉信息与网络安全的态势，更加主动、弹性地去应对新型复杂的威胁和未知多变的风险。
【待续】下一篇——《什么是大数据安全分析？》
本文出自 “专注安管平台” 博客，请务必保留此出处http://yepeng.blog.51cto.com/3101105/1599937
原文地址：http://yepeng.blog.51cto.com/3101105/1599937
