分布式缓存架构先看架构: 图一用户通过访问http服务器,然后访问应用服务器资源,应用服务器调用后端的数据库,在第一次访问的时候,直接访问数据库,然后将要缓存的内容放入memcached集群,集群规模根据缓存文件的大小而定。在第二次访问的时候就直接进入缓存读取,不需要进行数据库的操作。这个适合数据变...
分类:
其他好文 时间:
2015-02-23 15:22:58
阅读次数:
170
版权所有,未经华为书面许可,请勿转载或转发。
2.3.2
弹性伸缩
弹性伸缩要求以相同架构,支撑从最少几个计算与存储节点,到最大10万甚至是100万级的计算与存储节点集群规模,且保证数据中心容量扩展过程中的业务连续性及业务服务不中断,或中断时延最短。
这里的弹性伸缩扩展能力应该体现在:
l
管理节点弹性伸缩能力;
l
数据中心资源的弹性伸缩能...
分类:
其他好文 时间:
2014-12-17 16:25:39
阅读次数:
209
优化需要注意的点
除非必要,一开始不要优化(尤其是开发阶段)
有些优化准则已经过时,需要考虑当下的软硬件环境(不要墨守成规)
不要过分强调某些系统级指标,如cache 命中率,而应该聚焦性能瓶颈点
不盲从,测试、找到系统的性能瓶颈,再确定优化手段
注意权衡优化的成本和收益(有些优化可能需要现有架构做出调整、增加开发/运维成本)
优化的目标是用户体验、降低硬件成本(降低集群规模、不依赖单...
分类:
其他好文 时间:
2014-09-23 15:33:24
阅读次数:
152
本文是Advanced Puppet系列的第一篇:Puppet master性能调优,谈一谈如何优化和提高C/S架构下master端的性能。故事情节往往惊人地类似:你是一名使用Puppet管理线上业务的DevOps工程师,随着公司的业务发展,你所管理的集群规模日益扩大。终于某一天,你突然发现执行一次...
分类:
其他好文 时间:
2014-08-28 13:01:49
阅读次数:
478
由于单台机器的计算能力和I/O能力已经无法满足不断增长的数据处理需求,越来越多的组织需要将应用扩展到更大规模的集群上。但在集群环境中,可编程性方面将遇到以下几个挑战:
并行编程问题;为了将应用并行化,需要并行编程模型的支撑。
容错和慢节点问题;当集群规模相当大时,这个问题也是非常严重的。
多用户共享集群要求能具备弹性计算的能力,此外还要考虑干扰问题。
结果就是出现了很多编程模型,首先是MapReduce使数据批处理变得简单通用同时能处理容错。但很难处理其它类型的负载,于是就出现了各种各样专用的编程模型:
...
分类:
其他好文 时间:
2014-08-06 19:28:12
阅读次数:
285