背景 可用性(Availability)和一致性(Consistency)是分布式系统的基本问题,先有著名的CAP理论定义过分布式环境下二者不可兼得的关系,又有神秘的Paxos协议号称是史上最简单的分布式系统一致性算法并获得图灵奖,再有开源产品ZooKeeper实现的ZAB协议号称超越Paxos。 ...
分类:
数据库 时间:
2020-05-07 13:20:48
阅读次数:
120
一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台,由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统,
分类:
其他好文 时间:
2020-05-07 09:17:48
阅读次数:
76
keepalive 32指的是要保持的连接数,把一部分连接保持为长连接,那么就可以减少连接创建的消耗 使用Jmeter压测工具对比keepalive前后配置,发现吞吐量可以显著增大 推荐:伊春SEO ...
分类:
其他好文 时间:
2020-05-05 23:26:04
阅读次数:
62
文件系统 HDFS Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统,支持PB级的数据量 ...
分类:
其他好文 时间:
2020-05-05 18:09:27
阅读次数:
70
标签(空格分隔): 方法和应用 并发用户数、响应时间、系统吞吐量之间的关系 并发用户数、响应时间、系统吞吐量,这三个名词的含义可能就已经让你感觉云里雾里了,因此我会通过一个我们日常生活中的体检为例,再来解释一下它们到底是什么,以及它们之间的关系和约束。 你先来想象这样一个场景:假设你找了一份新工作, ...
分类:
其他好文 时间:
2020-05-04 17:08:52
阅读次数:
60
面对日益增加的系统访问量,数据库的吞吐量面临着巨大瓶颈。 对于同一时刻有大量并发读操作和较少写操作类型的应用系统来说,将数据库拆分为主库和从库,主库负责处理事务性的增删改操作,从库负责处理查询操作,能够有效的避免由数据更新导致的行锁,使得整个系统的查询性能得到极大的改善。 通过一主多从的配置方式,可 ...
分类:
数据库 时间:
2020-05-03 10:20:40
阅读次数:
239
batch 发送,batch 存储(可压缩, FileChannel 顺序写盘),batch 拉取(sendFile) 查看 log: kafka-run-class.bat kafka.tools.DumpLogSegments --files D:/tmp/kafka-11-logs/zhang ...
分类:
其他好文 时间:
2020-05-02 00:16:20
阅读次数:
81
1. MQ的优缺点 优点: 解耦:通过MQ解除上游系统和下游系统的调用耦合,下游系统只需要做消息的订阅和取消订阅,上游系统无需任何改动。(一生产,多消费的典型场景) 异步:通过MQ将一些不需要同步获取执行的结果,并且非常耗时的调用操作通过MQ异步化。 削峰:通过MQ将一些高峰期的高并发流量积压在MQ ...
分类:
其他好文 时间:
2020-05-01 20:32:41
阅读次数:
81
Tomcat的吞吐量大小取决Io的很大的因素,同时可以通过调整启动项目中的配置,来做一些性能的提升。 重要的三个配置项:maxConnections、maxThreads、acceptCount。 首先来看下maxConnections最连接数、maxThreads最大线程数、acceptCount ...
分类:
其他好文 时间:
2020-05-01 17:00:02
阅读次数:
83
什么是网络拥塞? 网络拥塞是数据链路层、网络层、传输层都会考虑的问题。与流量控制相比,是全局的概念,流量控制是针对点对点的,二网络拥塞可能是大量的发送消息来不及处理,导致网络性能下降。 判断网络是否进入拥塞状态的方法? 网络负载增加,但是网络的吞吐量明显小于正常的吞吐量。 网络拥塞的原因? 1)大量 ...
分类:
其他好文 时间:
2020-05-01 16:31:37
阅读次数:
47