商业智能能够辅助的业务经营决策,既可以是操作层的,也可以是战术层和战略层的决策。为了将数据转化为知识,需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。因此,从技术层面上讲,商业智能不是什么新技术,它只是数据仓库、OLAP和数据挖掘等技术的综合运用。传统的商业智能系统一般采用以下的系统架构进行构建。
系统主要由三层构成:分别是1)数据抽取层即传统的ETL;2)数据分析层,即传统的数据仓库;3)数据展示层,即传统的OLAP。
BI系统是一类提供给使用者对数据进行分析的工具,自然而然其应该具有强大的数据处理和分析能力。随着大数据时代的来临,对于大量数据的快速分析能力的需求成为BI系统的需求之一,因此也给传统的BI分析架构带来了革命性的变革。根据TDWI对48加BI使用企业和生产企业的一份分析报告指出,如下图所示
国外近80%的企业都正在或准备3年内将大数据分析结合进传统的BI系统中。通过结合大数据分析技术,可以在分析能力和分析类型上对传统的BI系统进行扩展。具体描述如下:
1、分析能力的增强:通过将Hadoop等分布式大数据分析平台结合进BI系统可以增强数据的分布式并行处理能力,从而从底层增加计算能力,为传统的数据挖掘分析带来新鲜血液。
2、分析能力的扩展:结合大数据分析,可以将以往无法分析的非结构化数据或半结构化数据分析结合进BI系统,极大的扩展Bi系统的分析能力。
3、对专家系统的机器学习补充:传统的BI系统数据仓库和数据集市是由专家知识构建的,这样的专家知识可能随着业务的变迁或扩展不再完全准确,因此BI系统如果想真正实现智能化的分析过程,不仅需要专家知识,更需要从与实际业务实时相关的数据中分析出数据的关联性和知识性。因而对于智能化的数据分析与挖掘能力的需求与日俱增。大数据分析能力正好弥补了传统BI系统无法从数据中机器学习和分析的能力的不足。
针对BI技术的大数据扩展趋势,目前多家公司都制定了自己的融合软件架构方案。其中Pentaho作为一家开源的BI开发公司也实现了自己的BI融合Hadoop架构。在著名的开源ETL项目Kettel5.0版本中已经实现了大数据补丁,提供与大数据分析系统的交互。其架构如下。
清晰可见的hadoop小象。通过其PDI(pentaho date integration)层主要是ETL,实现与传统的关系数据库和hadoop间进行交互。同时其也提出了结合hadoop的大数据分析虚拟层。
目前国内主要的BI生产商大多还是采用的传统架构作为实现方案。也有不少国内主要BI开发企业正在向或计划实践大数据分析BI系统的改造。在分析工具中而论,下一个时代很定时大数据分析的时代。(甚至在机器学习,模型学习研究领域也正在采用hadoop或storm此类分布式和实时分析平台构建模型,各类传统的机器模式技术,图像识别、语音识别等也正在向大数据分析转型。看样以后做机器智能和学习的,没个hadoop都不好做实验了)。
大数据时代的新BI系统架构发展趋势,布布扣,bubuko.com
原文地址:http://blog.csdn.net/bluebelfast/article/details/25600537