如果要问最近几年,IT行业哪个技术方向最火?一定属于ABC,即AI + Big Data + Cloud,也就是人工智能、大数据和云计算。 这几年,随着互联网大潮走向低谷,同时传统企业纷纷进行数字化转型,基本各个公司都在考虑如何进一步挖掘数据价值,提高企业的运营效率。在这种趋势下,大数据技术越来越重 ...
分类:
其他好文 时间:
2020-04-28 09:31:30
阅读次数:
279
一、性能测试的目的? 1、评估当前系统 针对从未做过的性能的系统,进行一系列测试,了解知晓当前系统的性能,并作出相关评估 2、寻找瓶颈,优化性能 常见的现象为,莫业务操作响应时间长、某系统上线运行一段时间后越来越慢,这些都需要逐步分析定位并调优 3、预测未来性能 当用户数和业务量增加时能否及时应对? ...
分类:
其他好文 时间:
2020-04-27 15:25:12
阅读次数:
73
背景保证kafka高吞吐量的另外一大利器就是消息压缩。就像上图中的压缩饼干。压缩即空间换时间,通过空间的压缩带来速度的提升,即通过少量的cpu消耗来减少磁盘和网络传输的io。消息压缩模型消息格式V1kafka不会直接操作单条消息,而是直接操作一个消息集合。消息格式V2:1,抽取了消息的公共部分放到消息集合中;去掉每条消息的公共部分,减少了总体积。2,消息的CRC校验由对每一条消息,移动到了对消息集
分类:
其他好文 时间:
2020-04-26 15:27:48
阅读次数:
81
ONCE-FOR-ALL: TRAIN ONE NETWORK AND SPE- CIALIZE IT FOR EFFICIENT DEPLOYMENT ON DIVERSE HARDWARE PLATFORMS ABSTRACT 我们解决了跨许多设备和各种约束,即从通用硬件到专用加速器的高效深度学 ...
分类:
其他好文 时间:
2020-04-23 15:05:50
阅读次数:
131
什么是负载均衡 负载均衡建立在现有网络结构之上,它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。 负载均衡,英文名称为 Load Balance,其意思就是分摊到多个操作单元上进行执行,例如 Web 服务器、FTP 服务器、企业关 ...
分类:
其他好文 时间:
2020-04-23 12:29:17
阅读次数:
66
[TOC] 缓存预热 宕机 服务器启动后迅速宕机 问题排查 1. 请求数量较高 2. 主从之间数据吞吐量较大,数据同步操作频度较高 解决方案 前置准备工作: 1. 日常例行统计数据访问记录,统计访问频度较高的热点数据 2. 利用 LRU 数据删除策略,构建数据留存队列,例如:strom 与 kafk ...
分类:
其他好文 时间:
2020-04-21 09:29:45
阅读次数:
84
实验,演示过了 redis cluster模式下,不建议做物理的读写分离了 我们建议通过master的水平扩容,来横向扩展读写吞吐量,还有支撑更多的海量数据 redis单机,读吞吐是5w/s,写吞吐2w/s 扩展redis更多master,那么如果有5台master,不就读吞吐可以达到总量25/s ...
分类:
其他好文 时间:
2020-04-21 09:16:58
阅读次数:
56
一:负载均衡介绍 1.1:负载均衡简介 以下是wikipedia对负载均衡的定义: 负载均衡改善了跨多个计算资源(例如计算机,计算机集群,网络链接,中央处理单元或磁盘驱动的的工作负载分布。负载平衡旨在优化资源使用,最大化吞吐量,最小化响应时间,并避免任何单个资源的过载。使用具有负载平衡而不是单个组件 ...
分类:
其他好文 时间:
2020-04-18 11:53:43
阅读次数:
67
基础实战: 业务说明: 测试20个用户访问xx网站 在负载达到3QPS时平均响应时间。 QPS: Query Per Second 每秒查询(请求)率,一台服务器每秒能够处理的查询次数。 添加线程组》https请求 添加常用吞吐量定时器:方便控制给定的取样器发送请求的吞吐量 1800 添加监视器: ...
分类:
其他好文 时间:
2020-04-17 12:38:47
阅读次数:
72
关键词:RFC1242;RFC2544;吞吐量;吞吐率。吞吐量概述:吞吐量即吞吐率,这个词首先在RFC1242中被提出,是评估网络设备性能的首要指标,其定义是在设备没有丢帧的情况下的最大的转发速率,通常使用每秒钟通过的最大的数据包数(PPS/FPS)或者bit数来衡量(bit/s,Kbit/s,Mbit/s,Gbit/s…),测试公式为:速率=总长度/帧长度,简单来说,就是从源发送方,到目的接收方
分类:
其他好文 时间:
2020-04-15 18:30:29
阅读次数:
147