码迷,mamicode.com
首页 > 其他好文 > 详细

润乾集算报表优化应用结构之混合数据源

时间:2015-02-27 18:49:13      阅读:245      评论:0      收藏:0      [点我收藏+]

标签:报表应用系统   结构优化   报表混合多数据源   集算报表   

   在报表项目中,报表源数据常常会来自于多种异构数据源。例如:关系型数据库(oracledb2mysql),nosql数据库(mongodb),http数据源,hadoophivehdfs)甚至是excel或者文本文件。通常的做法是采用ETL工具,将这些数据源都同步到数据仓库中。但是这样做的问题在于:1、配置复杂,难度较大;2、成本较高;3、数据无法实时访问,需要有较长时间的延迟;4、数据仓库的建设和管理都比较复杂;5、如果数据量很大效率会很低,而且要不断的ETL去各个应用系统同步数据;6、数据仓库利用的也是传统数据库的技术,如果负载较大的时候,扩容成本较高。

  如果采用润乾集算报表工具,就可以简单直接地实现混合数据源报表。润乾集算报表通过内置的集算引擎直接读取各种混合数据源,能够解决上述问题,让数据采用最合适的方式存储,以较小的成本呈现基于混合数据源的实时报表。ETL方式和集算报表方式的结构对比示意图如下:

技术分享

    下面,通过《州销售人员销售报表》来看一下具体的实现步骤。报表如下图:

技术分享

  报表的销售数据来自于销售系统的mongodb数据库,销售员的信息则来自人力资源系统的db2数据库。采用集算报表的混合数据源方式,报表数据源不需要定期同步,不会有时间上的延迟。

  第一步,要在集算器设计器中编写脚本,并保存为statesales.dfx如下:

技术分享

  A1:连接预先配置好的db22数据源。

  A2:从数据源中按照预先定义好的参数state="California"读取employee序表。

  A3A4:从销售系统的mongodb中,读取orders序表。

  A5:使用集算器的switch函数,将orders序表中的sellerid字段切换成employee序表sellerid=eid关联的记录。@i选项是指如果找不到对应的记录,则删除该行。

  A6:生成一个新的序表,得到需要的字段。

  A7A8:关闭数据库连接。

  A9:返回给集算报表。


第三,在报表设计器中定义参数argstate,配置集算数据集:

技术分享

第四,设计报表如下:

技术分享


输入参数计算后,即可得到前面希望的报表。报表上部的查询按钮是集算报表提供的“参数模板”功能。参数模板和db2mongodb数据源配置的具体做法参见教程和其他文档,这里不再赘述。

  需要说明的是,如果数据源结构发生了变化,比如新上线的销售系统采用了oracle数据库,只要修改statesales.dfxA1改为:>hrdb=connect(“ora”)

  同时复制oracle jdbc驱动、配置oracle数据库的连接参数即可。报表系统配置和改动都很小。


本文出自 “高性能报表数据计算” 博客,请务必保留此出处http://report5.blog.51cto.com/8028595/1615664

润乾集算报表优化应用结构之混合数据源

标签:报表应用系统   结构优化   报表混合多数据源   集算报表   

原文地址:http://report5.blog.51cto.com/8028595/1615664

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!