HBase读写流程 在网上找了一张图,这个画的比较简单,就拿这个图来说吧。 写流程 1.当Client发起一个Put请求时,首先访问Zookeeper获取hbase:meta表。 2.从hbase:meta表查询即将写入数据的Region位置。 3.Client向目标RegionServer发出写命 ...
分类:
其他好文 时间:
2020-12-02 12:39:17
阅读次数:
7
原创LiamLinux阅码场3月3日概要开发人员在高性能系统的性能调优过程中,经常会碰到各种背景的噪声干扰,从而使得收集的数据不够精确。本文主要从CPU以及Linux操作系统的角度来分析各种噪声的来源以及消除方法。最终的目标是搭建基准平台,在特定的cpu上实现”0”干扰。Cpu运行中存在的几种背景噪声干扰来源1.调度器:进程调度器对于系统的影响几乎无处不在,Linux内核一般来说是使用公平的分时调
分类:
系统相关 时间:
2020-12-02 12:14:10
阅读次数:
8
因为总是看到很多同学在说Elasticsearch性能不够好、集群不够稳定,询问关于Elasticsearch的调优,但是每次都是一个个点的单独讲,很多时候都是case by case的解答,本文简单梳理下日常的Elasticsearch使用调优,以下仅为自己日常经验之谈,如有疏漏,还请大家帮忙指正 ...
分类:
其他好文 时间:
2020-11-27 11:45:01
阅读次数:
11
1. 产品的架构是数据采集到 kafka,由 flink 读取,送入ES 2. 这个过程中,涉及: kafka分区数,flink并行度,ES 分区数和副本 3. kafka 分区数决定了后面 flink 的并行度,最好是 kafka 的分区数和 flink 的并行度一致 4. 写入 ES 时,需要先 ...
分类:
其他好文 时间:
2020-11-16 14:01:57
阅读次数:
18
系统性能一直是个热门话题。做运维这几年也一直在搞性能调优,写这个文章也算是对工作的总结。 讲调优第一步是,要讲为什么要调优?也就是系统分析,分析还需要有指标,做好性能监控的情况下,看到确实需要调优才能进行。不能为了调优而 “调优“ 那不是调优,那是破坏。 性能分析的目的 找出系统性能瓶颈 为以后的优 ...
分类:
系统相关 时间:
2020-11-01 22:30:21
阅读次数:
32
最近在做公司项目登录模块的性能测试,用的工具是jmeter,经常会遇到类似如下问题:Addressalreadyinuse:connect或者:connecttimeout网上查阅相关资料获悉windows提供给TCP/IP链接的端口为1024-5000,并且要四分钟来循环回收它们,就导致我们在短时间内跑大量的请求时将端口占满了,导致如上报错。这算是性能测试中常见的网络瓶颈问题在性能测试中,网络问
分类:
其他好文 时间:
2020-10-27 11:47:49
阅读次数:
28
开源mongodb代码规模数百万行,本篇文章内容主要分析mongodb网络传输模块内部实现及其性能调优方法,学习网络IO处理流程,体验不同工作线程模型性能极致设计原理。另外一个目的就是引导大家快速进行百万级别规模源码阅读,做到不同大工程源码”举一反三”快速阅读的目的。
此外,mognodb网络工作线程模型设计非常好,不仅非常值得数据库相关研发人员学习,中间件、分布式、高并发、服务端等相关研发人员也可以借鉴,极力推荐大家学习。
分类:
数据库 时间:
2020-10-24 09:57:49
阅读次数:
25
性能调优 1、调优tomcat的线程池 1、1打开tomcat下的conf找到server.xml name : 执行器(线程池)的名字 namePrefix : 指定线程池中的每一个线程的name前缀 maxThreads:线程池中最大的线程数量 假设:请求的数量超过了“700,这将不是意味着将m ...
分类:
其他好文 时间:
2020-10-21 21:00:47
阅读次数:
26
前言JVM调优是每个高级程序员的必修课,在本章中,我会从发展过程以及核心价值来剖析JVM的体系结构。为了让大家更好的理解JVM的工作机制,我会在讲解完运行时数据区之后,再通过一个类的加载过程到这个类最终在运行时数据区中的存储来更进一步理解JVM的工作原理。最后,通过对内存的回收机制和垃圾回收算法的讲解,引出到JVM的性能调优这一主题,在这个部分会着重讲解垃圾回收算法以及常见的垃圾回收器的区别和使用
分类:
其他好文 时间:
2020-10-12 20:51:54
阅读次数:
48
概述 在JDK1.7以后,新增了一个命令行工具 jcmd。他是一个多功能的工具,可以用它来导出堆、查看Java进程、导出线程信息、执行GC、还可以进行采样分析(jmc 工具的飞行记录器)。 命令格式 jcmd <pid | main class> <command ... | PerfCounter ...
分类:
其他好文 时间:
2020-10-07 20:33:11
阅读次数:
27