问题项目使用spring-kafka操作消费kafka近期出现消费速度变慢，consumer消费一条数据平均需要200ms的时间，并且频繁发生，consumer会停止消费十几秒。日志分析以下为日志记录，consumer会时长从消费组中掉出再重新加入o.a.k.c.c.i.AbstractCoordinator:542-Markingthecoordinator127.0.0.1:9092(id:2
分类：
其他好文 时间：
2020-02-28 19:02:51
阅读次数：
461
一、造成崩溃的原因 1、代码中存在bug 2、Watchdog 超时机制 3、用户强制退出 4、低内存终止 5、其他违法系统规则的操作，大部分是内存问题 二、崩溃的类型 1、EXC_BAD_ACCESS 2、SIGSEVG ...
分类：
移动开发 时间：
2020-02-26 21:16:18
阅读次数：
322
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类：
其他好文 时间：
2020-02-20 22:15:37
阅读次数：
69
今天遇到两位三方人员跟我反馈，某微服务的异步接口功能不正常了，由于该异步接口采用Kafka异步消息的方案，对方说没有收到Kafka给消费者的通知，根据此问题，联系了相关人员进行了分析： （一）明确环境是否一致 1、生产者和消费者链接Kafka的地址是否一致，初步发现A方消费者链接Kafka的地址不正 ...
分类：
其他好文 时间：
2020-02-20 15:14:09
阅读次数：
109
分类: "ELK" undefined 第1章 ELK简介 第2章: 传统日志分析需求 第3章: 日志收集分类 第4章 准备ES单机环境 第6章: filebeat收集Nginx的json格式日志 1.上面方案不完善的地方 2.理想中的情况 3.目标 4.修改nginx配置文件使日志转换成json ...
分类：
其他好文 时间：
2020-02-18 14:35:25
阅读次数：
89
需求1.开发人员不能登录线上服务器查看日志2.各个系统都有日志，日志分散难以查找3.日志数据量大，查找慢，数据不够实时解决办法：部署ELK平台ELK介绍ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志
分类：
其他好文 时间：
2020-02-18 09:40:00
阅读次数：
367
介绍 GoAccess是一个开源的 实时网络日志分析器 和 交互式查看器 ，可以在 nix 系统或通过 浏览器 的终端中运行。 它为需要动态可视化服务器报告的系统管理员提供 快速 且有价值的 HTTP统计 信息。 特征 GoAccess的一些功能 1.实时输出 2.允许任何自定义日志格式字符串 3. ...
分类：
数据库 时间：
2020-02-13 23:00:42
阅读次数：
107
网站的访问日志是一个非常重要的文件，通过分析访问日志，能够挖掘出很多有价值的信息。本文介绍如何利用Python对一个真实网站的访问日志进行分析，文中将综合运用Python文件操作、字符串处理、列表、集合、字典等相关知识点。本文所用的访问日志access_log来自我个人的云服务器，大家可以从文末的附件中下载。1.提取指定日期的日志下面是一条典型的网站访问日志，客户端访问网站中的每个资源都会产生一条
分类：
编程语言 时间：
2020-02-07 20:41:10
阅读次数：
109
Linux中很多应用程序日志即使每天做日志切割还是会很大 这是对日志文件进行切割在进行分析会更好 我们可以使用split命令对日志进行切割操作 split命令：将指定文件切割成小文件 -d：使用数字作为文件的后缀(默认以字母作为后缀) -b：指定切割文件的大小(默认单位是字节) -l：指定切割的行数 ...
分类：
系统相关 时间：
2020-02-06 19:28:38
阅读次数：
66
