MySQL主从复制,读写分离是互联网常见的数据库架构,该架构最令人诟病的地方就是,在数据量较大并发量较大的场景下,主从延时会比较严重。为什么主从延时这么大?答:MySQL使用单线程重放RelayLog。应该怎么优化,缩短重放时间?答:多线程并行重放RelayLog可以缩短时间。多线程并行重放RelayLog有什么问题?答:需要考虑如何分割RelayLog,才能够让多个数据库实例,多个线程并行重放R
分类:
数据库 时间:
2020-11-17 12:10:49
阅读次数:
12
上次《百亿级数据DB秒级平滑扩容!》之后,很多朋友提问,说如果不是“双倍”扩容,能否做到平滑迁移,不影响服务呢?适用什么场景?互联网有很多“数据量较大,并发量较大,业务复杂度较高”的业务场景,其典型系统分层架构如下:(1)上游是业务层biz,实现个性化的业务逻辑;(2)中游是服务层service,封装数据访问;(3)下游是数据层db,存储固化的业务数据;服务化分层架构的好处是,服务层屏蔽下游数据层
分类:
其他好文 时间:
2020-11-16 13:59:24
阅读次数:
11
SM,第一篇服务网格(ServiceMesh)这两年异常之火,号称是下一代微服务架构,接下来两个月,准备系统性的写写这个东西,希望能够让大家对最新的架构技术,有个初步的了解。画外音:我的行文的风格了,“为什么”往往比“怎么样”更重要。互联网公司,经常使用的是微服务分层架构。画外音:为什么要服务化,详见《服务化到底解决什么问题?》。随着数据量不断增大,吞吐量不断增加,业务越来越复杂,服务的个数会越来
分类:
其他好文 时间:
2020-11-16 13:58:09
阅读次数:
14
在《消息顺序性为何这么难?》中,介绍了一种为了保证“所有群友展示的群消息时序都是一致的”所使用的“ID串行化”的方法:让同一个群gid的所有消息落在同一台服务器上处理。ID串行化是如何实现的呢?互联网高可用常见分层架构客户端,反向代理层,接入层,服务层,存储层,这是互联网常见的高可用分层架构。画外音:这个图用过好多次。这里的“服务层”至关重要,ID串行化保证的是,同一个群gid的消息落在同一个服务
分类:
其他好文 时间:
2020-11-16 13:56:56
阅读次数:
7
最近留言问“高可用”的朋友颇多,找历史文章又找不到,故重新优化发布,希望大家有收获。一、什么是高可用高可用HA(HighAvailability)是分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务,我们说系统的可用性是100%。如果系统每运行100个时间单位,会有1个时间单位无法提供服务,我们说系统的可用性是99%。很多公司的高可用目
分类:
其他好文 时间:
2020-11-16 13:56:35
阅读次数:
7
这是一个真实的故事。【上】我叫“小孩子”,一个后端研发工程师,平时喜欢搞技术,看源码。和大部分互联网公司一样,我使用MySQL作为存储,在研究MySQL,学习MySQL的过程中,我遇到了这样一些困难:(1)网上MySQL的资料不系统,多而杂;(2)有的书偏应用,比较浅,底层原理没有讲;(3)有的书语言比较晦涩,比较难懂;我在想,会不会有很多技术的小伙伴,在学习MySQL的时候,会不会遇到类似的问题
分类:
数据库 时间:
2020-11-16 13:56:12
阅读次数:
14
架构师之路年终总结(九)-工具篇架构与运维是互联网系统公司必不可少的一环,之前也花了一些心思写架构与运维的文章,很多一分钟系列,欢迎回顾。1.《如何进行无损发布,从此不用凌晨上线》很多公司选择在晚上发布,美名其曰“对用户影响最小”,自从实现了无损发布,随时随地上线,每天按时下班,爽。2.《服务挂了,怎么自动恢复?》一分钟系列,一个互联网常见的运维工具。3.《nohup与&到底有啥用?》一分
分类:
其他好文 时间:
2020-11-16 13:55:51
阅读次数:
9
以前的文章讨论过《互联网架构,究竟为啥要做服务化?》,随着数据量、并发量、业务复杂度的增长,互联网架构会出现以下问题:代码到处拷贝底层复杂性扩散基础库(so/jar/dll)耦合SQL质量得不到保障,业务相互影响数据库耦合“服务化”是一个很好的解决上述痛点的方案。那么问题来了,微服务架构多“微”才合适?行业内有这样四类常见实践。实践一:统一服务层这是最粗犷的玩法,所有基础数据,都通过一个统一的服务
分类:
其他好文 时间:
2020-11-16 13:55:14
阅读次数:
8
架构师之路年终总结(五)-缓存篇缓存是互联网系统架构中必不可少的一环,之前花大精力系统性的写了10篇,缓存架构设计相关的文章,欢迎回顾。1.《进程内缓存究竟怎么玩?》缓存,可以分为:进程内缓存,缓存服务。文章介绍了:(1)什么是进程内缓存(2)进程内缓存的优缺点(3)进程内缓存保存一致性的3种方案(4)到底什么时候用进程内缓存文章也说明,大部分业务场景,不应该用进程内缓存,而应该用缓存服务,而如今
分类:
其他好文 时间:
2020-11-16 13:54:20
阅读次数:
5
年初花了一些笔墨写互联网常见的推荐算法,没有复杂的公式,没有晦涩的技术词汇,只有通俗的案例,每篇1分钟,保证弄懂。《从电影推荐开始,聊协同过滤》什么是协同过滤协同过滤的3步骤一张excel表格,秒懂协同过滤《从职位推荐开始,聊内容推荐》什么是基于内容的推荐基于内容的推荐的3步骤明明职位要求6000+,为啥会出3000+的推荐结果《我不是潘金莲,聊相似性推荐》没有用户行为数据,能不能做电影推荐相似度
分类:
其他好文 时间:
2020-11-16 13:53:59
阅读次数:
6