从报表需求的整个发展历程来看,可以分为两个阶段:
1、静态报表:解决显示、打印、导出报表数据的需要。
2、交互式报表:解决终端用户分析数据的需要,通常会用到数据可视化、向下钻取、贯穿钻取、数据过滤、数据排序等功能。
这篇文章主要介绍交互式报表中常用到的数据分析方法。
(一) 数据可视化
数据可视化技术是将数据以图形化的方式进行显示,让数据更易于阅读、理解和分析。早期的...
分类:
其他好文 时间:
2014-11-24 19:20:27
阅读次数:
158
在kettle中实现数据验证和检查 在ETL项目,输入数据通常不能保证一致性。在kettle中有一些步骤能够实现数据验证或检查。验证步骤能够在一些计算的基础上验证行货字段;过滤步骤实现数据过滤;javascript步骤能够实现更复杂的计算。 通常以某种方式查看那些数据是有缺陷的也是实用的,由于大多....
分类:
其他好文 时间:
2014-11-12 19:21:09
阅读次数:
235
编程中最常用的功能,增删改查,而实际业务中真正物理删除数据的情况是很少的,基本都有使用逻辑删除,通常采用一个标志位,比如flag,查询的时候,flag=1的数据查出,flag=0的数据过滤掉.
使用hibernate的时候,通常不再直接才做sql语句,而是操作实体和HQL相结合的方式,只要维护好实体之间的关系,增删改查都可以使用极其简单的方式来完成,哪怕关联了好多张表好多个实体.
逻辑删除的时...
分类:
Web程序 时间:
2014-10-31 20:44:58
阅读次数:
217
关于数据过滤,scrapy提供xpath和css两种过滤器(selector),一般xpath使用的较多,另外我对css也不算熟。这里主要是xpath。 关于xpath,是一种专门在 XML 文档中查找信息的语言。详细教程可以看这里:http://ww...
分类:
其他好文 时间:
2014-10-06 01:42:49
阅读次数:
366
Bloom Filter是由Bloom在1970年提出的一种快速查找算法,通过多个hash算法来共同判断某个元素是否在某个集合内。可以用于网络爬虫的url重复过滤、垃圾邮件的过滤等等。
分类:
其他好文 时间:
2014-09-01 14:01:23
阅读次数:
238
Bloom Filter是由Bloom在1970年提出的一种快速查找算法,通过多个hash算法来共同判断某个元素是否在某个集合内。可以用于网络爬虫的url重复过滤、垃圾邮件的过滤等等。
它相比hash容器的一个优势就是,不需要存储元素的实际数据到容器中去来一个个的比较是否存在。
只需要对应的位段来标记是否存在就行了,所以想当节省内存,特别适合海量的数据处理。并且由于省去了存储元素和比较...
分类:
其他好文 时间:
2014-08-18 18:37:02
阅读次数:
339
Infobright作为开源的MySQL数据仓库解决方案,引入了列存储方案,高强度的数据压缩,优化的统计计算等内容,本文是摘抄了infobright论文里最重要的设计点,KnowledgeGird是infobright设计上的核心。
brighthouse是一个面向列的数据仓库,在列存储和压缩数据方面,数据压缩比达到10:1。其核心Knowledge Grid(知识网格)层,即一个能自动调节、所存出具特别小的元数据层,替代了索引的功能,提供了数据过滤、统计信息表达、实际数据位置信息等内容,让brightho...
分类:
其他好文 时间:
2014-08-14 23:53:56
阅读次数:
465
1、php提交数据过滤的基本原则1)提交变量进数据库时,我们必须使用addslashes()进行过滤,像我们的注入问题,一个addslashes()也就搞定了。其实在涉及到变量取值时,intval()函数对字符串的过滤也是个不错的选择。2)在php.ini中开启magic_quotes_gpc和ma...
分类:
Web程序 时间:
2014-07-29 14:07:08
阅读次数:
284
--第一部分:SQL基础 --ch1 简单查询 --ch2 查询基本概念 --ch3 数据过滤 --第二部分:多表操作 --ch4 集合理论 --ch5 内连接 --ch6 外连接 --ch7 子查询 --第三部分:数据分组 --ch8 简单统计 --ch9 数据分组 --c...
分类:
数据库 时间:
2014-07-16 17:54:56
阅读次数:
258