mark: 新方向:原来我们讲的 Iaas/Paas/Saas 三层平台,未来运营商的大数据平台将向更深层次方向演进,如:Paas ( T-Paas、D-Paas) mark架构中的新技术:kudu、Ceph、OGG(Oralce GoldenGate)、RHadoop、TiDB mark自主研发X ...
分类:
其他好文 时间:
2017-05-27 10:55:28
阅读次数:
609
分布式系统实践 1. Kudu vs HBase http://dwz.cn/5PF5gq 摘要: Cloudera在2016年发布了新型的分布式存储系统—kudu, kudu从外部形态上来说和HBase非常像, 这篇文章分析了二者的差异和定位. 2. Leaf——美团点评分布式ID生成系统 htt ...
分类:
其他好文 时间:
2017-04-28 10:27:47
阅读次数:
324
随着用户使用天数的增加,不管你的业务是扩大还是缩减了,为什么你的大数据中心架构保持线性增长的趋势?很明显需要一个稳定的基本架构来保障你的业务线。当你的客户处在休眠期,或者你的业务处在淡季,你增加的计算资源就处在浪费阶段;相对应地,当你的业务在旺季期,或者每周一每个人对上周的数据进行查询分析,有多少次 ...
分类:
其他好文 时间:
2016-10-04 16:33:17
阅读次数:
379
测试环境 节点: 2 台主节点,6台计算节点 机器配置: 16个物理核 128G内存 12*3T磁盘 操作系统: redhat 7.2 版本: CDH 5.7.1-1.cdh5.7.1.p0.11 impala_kudu 2.7.0-1.cdh5.9.0.p0.23 kudu 0.9.1-1.kud ...
分类:
其他好文 时间:
2016-09-01 11:06:29
阅读次数:
262
Kudu是Cloudera开源的新型列式存储系统,是Apache Hadoop生态圈的新成员之一(incubating),专门为了对快速变化的数据进行快速的分析,填补了以往Hadoop存储层的空缺。本文主要对Kudu的动机、背景,以及架构进行简单介绍。 背景——功能上的空白 Hadoop生态系统有很 ...
分类:
其他好文 时间:
2016-08-31 18:29:43
阅读次数:
435
Tablet是kudu表的水平分区,类似于google Bigtable的tablet,或者HBase的region。每个tablet存储着一定连续range的数据(key),且tablet两两间的range不会重叠。一张表的所有tablet包含了这张表的所有key空间。Tablet由RowSet组成,RowSet由一组rows组成(n条数据、n行数据)。RowSet是不相交的,即不同的RowSet...
分类:
其他好文 时间:
2016-05-18 19:11:09
阅读次数:
224
kudu master design kudu的主节点设计文档...
分类:
其他好文 时间:
2016-05-12 21:16:37
阅读次数:
192
Kudu White Paper http://www.cloudera.com/documentation/betas/kudu/0-5-0/topics/kudu_resources.html http://getkudu.io/overview.html mark ...
分类:
其他好文 时间:
2016-04-26 12:22:50
阅读次数:
133