为什么需要跨库整合能力Smartbi支持多种数据源轻松接入，基本涵盖了市面上所有主流的数据库。无可否认多元的数据连接能力使Smartbi能快速连接现有数据源，构建统一的数据分析平台。但在项目实施过程中，往往会遇到以下的问题：我们企业数据存储在不同甚至不同类型的数据库里面，当用户查询数据的范围比较广，并不限于一个数据库时，需要跨多个数据库进行关联查询分析，如果按照传统的方式：先抽取到要通过ETL把数
分类：
其他好文 时间：
2020-08-03 23:27:20
阅读次数：
110
大数据的性能是个永恒的话题。不过，在实际工作中我们发现，许多人都不知道如何进行最简单的性能估算，结果经常被大数据厂商忽悠:)。这个办法我在以往的文章中也提到过，不过没有以这个题目明确地点出来。其实很简单，就是算一下这些数据从硬盘上取出来用的时间。除了个别按索引取数的运算外，绝大多数运算都会涉及对数据的整体遍历，比如分组汇总统计、按条件查询（非索引字段）；那么，这些运算耗用的时间，无论如何不可能小于
分类：
其他好文 时间：
2018-06-11 18:01:47
阅读次数：
137
Hbase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式： row ...
分类：
其他好文 时间：
2017-05-07 17:43:27
阅读次数：
239
本課主題 Shuffle 是分布式系统的天敌 Spark HashShuffle介绍 Spark Consolidated HashShuffle介绍 Shuffle 是如何成为 Spark 性能杀手 Shuffle 性能调优思考 Spark HashShuffle 源码鉴赏 引言 Spark Ha ...
分类：
其他好文 时间：
2017-02-25 21:23:22
阅读次数：
288
本課主題 大数据性能调优的本质 Spark 性能调优要点分析 Spark 资源使用原理流程 Spark 资源调优最佳实战 引言 我们谈大数据性能调优，到底在谈什么，它的本质是什么，以及 Spark 在性能调优部份的要点，这两点让直式进入性能调优都是一个至关重要的问题，它的本质限制了我们调优到底要达到 ...
分类：
其他好文 时间：
2017-02-25 00:57:36
阅读次数：
257
网上关于分页有大堆各种各样的，有人说这个这个处理大数据性能好，有人说那个性能好，听别人说没啥用，自己测试下才知道，但是我只测试除了第一个在查询分页后段的时候真的是不行，其他的在下面的测试中是没问题，也许是下面的例子并不能真实的测出，本来是实力有限，欢迎批评指出， 然后有集中分页方式，然后下面有几种分 ...
分类：
其他好文 时间：
2016-07-22 23:02:31
阅读次数：
203
老李分享：大数据性能调优案例1、“空间换时间”以及“内存中处理数据”比如user_id.csv文件中有20万个不同的user_id，根据user_id去查其对应的用户最近发表的一篇帖子，取出post_id，post_title、post_time和user_id（post表中查，post表中有一列是...
分类：
其他好文 时间：
2015-10-13 16:50:25
阅读次数：
132
1 概述HBase是一个分布式的、面向列的数据库，它和一般关系型数据库的最大区别是：HBase很适合于存储非结构化的数据，还有就是它基于列的而不是基于行的模式。既然HBase是采用KeyValue的列存储，那Rowkey就是KeyValue的Key了，表示唯一一行。Rowkey也是一段二进制码流，最...
分类：
其他好文 时间：
2015-07-20 12:18:56
阅读次数：
254
