千万级的注册用户,千万级的帖子,nTB级的附件,还有巨大的日访问量,大型网站采用什么系统架构保证性能和稳定性?
首先讨论一下大型网站需要注意和考虑的问题。
数据库海量数据处理:负载量不大的情况下select、delete和update是响应很迅速的,最多加几个索引就可以搞定,但千万级的注册用户和一个设计不好的多对多关系将带来非常严重的性能问题。另外在高UPDATE的情况下,更新一个...
分类:
Web程序 时间:
2014-08-03 15:21:45
阅读次数:
1007
最近我在做流式实时分布式计算系统的架构设计,而正好又要参见CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛,要拿出一些自己的干货出来,仅仅是源码分析貌似分量不够。因此,我将最近一直在做的系统架构的思路整理出来,形成此文。为什么要参考Storm和Spark,因为没有参照效果可能不会太好,尤其是对于Storm和Spark由了解的同学来说,可能通过对比,更能体会到每个具体实现背后的意义。
本文对流式系统出现的背景,特点,数据HA,服务HA,节点间和计算逻辑间的消息传递,存储模型,...
分类:
其他好文 时间:
2014-08-02 18:25:23
阅读次数:
489
Hadoop2/cdh4集群安装CDH是Cloudera完全开源的Hadoop分布式系统架构,为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称:ClouderaHadoop。它是在ApacheHadoop基础上打入了很多patch。使之性能更好,更加满足生产环境。Hadoop介绍Hadoop是apache的..
分类:
其他好文 时间:
2014-08-02 07:45:03
阅读次数:
366
假设你对项目管理、系统架构有兴趣,请加微信订阅号“softjg”,增加这个PM、架构师的大家庭在解说系统架构设计之前,有必要补充一下架构相关的概念,因此本博文主要讲述架构、架构师和架构设计等相关的概念以及关系。这是系统架构设计的基础,仅仅有具备了此方面的知识之后,我们才干进一步了解架构师在软件开发过...
分类:
其他好文 时间:
2014-08-01 22:56:42
阅读次数:
260
上次的博文中,我们介绍了一下软件架构的基本概念,接下来我们介绍一下如何来架构一个软件系统。...
分类:
其他好文 时间:
2014-08-01 00:09:01
阅读次数:
263
上次的文章中,我们简单描述了一下软件架构的概念,接下来我们描述一下软件架构中的具体细节。...
分类:
其他好文 时间:
2014-07-31 00:03:05
阅读次数:
189
前言 本文通过介绍 GPU 编程技术的发展历程,让大家初步地了解 GPU 编程,走进 GPU 编程的世界。冯诺依曼计算机架构的瓶颈 曾经,几乎所有的处理器都是以冯诺依曼计算机架构为基础工作的。 该系统架构简单来说就是处理器从存储器中不断取指,解码,执行。 但如今,这种系统架构遇到了瓶颈:内存...
分类:
其他好文 时间:
2014-07-30 23:24:55
阅读次数:
435
当我们在讨论软件系统架构的一些概念的时候,经常会借助一些其他学科(如造船、建筑等)的概念进行描述。例如当我们讨论"架构"这个概念的时候,我们就会借助微处理器的内部结构、机器的内部结构、组织网络、软件架构和其他许多东西进行对比和理解。今天主要介绍一下软件架构、架构元素、架构描述和一些其他相关内容。...
分类:
其他好文 时间:
2014-07-30 20:55:14
阅读次数:
195
包工头模式包工头–工人模式:包工头工人模式我是从一本书上看到的《大规模分布式系统架构与设计实战》。“包工头-工人”模式会使用到Anycmd的User模块中去。AC是一个隐式的项目。一个项目只有一个包工头,一个包工头可以雇佣很多工人,一个工人在一个项目下只受雇于一个包工头。每一个工人都是自己的包工头。...
分类:
其他好文 时间:
2014-07-29 12:32:16
阅读次数:
261