码迷,mamicode.com
首页 > 其他好文 > 详细

用户数量高达3人的分布式系统

时间:2018-10-10 01:07:50      阅读:172      评论:0      收藏:0      [点我收藏+]

标签:高达   读写   red   没有   传统   代码   业务逻辑   and   关系数据库   

稍微有一些项目经验之后,如果再深入下去,可能会接触到高并发、分布式,相关的工具集和技术有:并发编程、分布式事务、Redis、数据库集群、消息队列、Hadoop……总之你能张嘴喷出来的高大上的词汇越多,就越显得你厉害,足以让新手自卑,让外行赞叹。

我差点就走上这条不归路。无数次的事实已经证明:没有最好的技术,只有最合适的技术。如果脱离实际场景去照抄别人的解决方案,结果只能是东施效颦。我听过不少人高呼:解决分布式问题,一定要用分布式事务。你要是给他个赞许的目光,他一会儿就能接着侃侃而谈:CAP理论、柔性事务……说了个把钟头,他甚至都没关心具体的业务是什么。

我们假设这样一种场景:系统A和上游系统保持TCP长连接,上游不断地给A发送消息,而A要对每条消息做到尽快地处理,上游发送消息的频率是相当高的:超过100MPS(message per second)。系统A用了队列缓存接收到的消息,然后从队列中不断取出消息进行处理。处理结果要持久化,然后通知下游系统。这样的场景下,使用关系数据库必然是致命的。用消息队列呢,很遗憾传统的mq也不能满足要求,mq并不能加快一个事务的处理速度,说白了,mq就是个远程的队列,最大的作用就是缓冲压力,也就是所谓的削峰填谷,和实时处理完全就是相悖的。

那么Redis能解决我们的问题吗?并不能。我已经不止一次见到有人拿Redis当“比较快的数据库”来用,直接进行处理结果写入,写到redis就想当然的认为业务处理成功了,真是勇气可嘉。回到系统A,快速的处理一个事务并进行持久化的关键在于两点:
1、让事务尽可能简单
2、采用追加写入的方式进行持久化,比如LevelDb(微秒级写速度)、或者自己用相关的文件操作类也可以
第2点很简单,那如何让事务的处理尽可能简单呢?传统的事务处理就是因为过多的磁盘读写操作拖了后腿。到这里解决办法已经很清晰了:我们只记录动作,不记录数据。毕竟有了所有的动作,就有了所有的数据,mysql的binlog差不多就是这么个思路。缓存解决了读的问题,db操作不过就剩下:增加、删除、编辑这三类写操作,如果我们不直接操作数据,而是只记录类似“增加了数据A”,“删除了数据B”这样的动作(我们又称之为事件),那么依据这些事件,我们就可以从0重演出整个系统的状态。

针对系统A的场景,我们最终的解决办法是:
1、全内存运行
2、每次事务只存储事件

带来的好处之一:业务逻辑没有任何db操作,持久化事件完全可以封装在消息入口处,业务Handler纯内存操作,而且由一个线程调度,进而完全避免了多线程并发问题;
带来的好处之二:系统有了重放事件的能力,可以精确还原用户每次操作的数据场景,对重现bug意义重大;

天下没有免费的午餐,就算是西北风,也得自己张嘴去喝。

带来的坏处是:新技术(其实是多年前老掉牙的技术了,对我们团队来说是新的尝试)带来新问题,前期的框架修修补补,因为要做成分布式的,所以主节点和从节点需要事件同步,以保持程序状态的一致,好在这些问题是框架层面的,解决一次就行了。

重申一下:解决任何问题都得看具体场景。如果对实时处理没有苛刻的要求,做好缓存和代码优化,对付一般的应用场景完全足够了,分布式也好、redis也好、mq也罢能不用就不用,不考虑场景硬是尬用各种框架、工具无异于往自己身上滥贴狗皮膏药。

天天张口闭口就是高并发、分布式,吭哧吭哧把自己累得跟孙子似的的搞出一个分布式高并发的系统,一上线,同时在线用户高达3人——你说尴尬不尴尬。

用户数量高达3人的分布式系统

标签:高达   读写   red   没有   传统   代码   业务逻辑   and   关系数据库   

原文地址:https://www.cnblogs.com/qzhforthelife/p/9758087.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!