说完传统IT基础设施，本篇开始说一下云化的IT基础设施。
分类：
其他好文 时间：
2020-03-15 17:35:41
阅读次数：
75
处理nginx访问日志，筛选时间大于1秒的请求 #!/usr/bin/env python ''' 处理访问日志，筛选时间大于1秒的请求 ''' with open('test.log','a+',encoding='utf-8') as f_a: with open('wkxz-api.acces ...
分类：
其他好文 时间：
2020-03-14 10:51:48
阅读次数：
54
[toc] 生产者根据不同的业户需求和性能需求，选择合适的发送方式，可以达到最大效率。 具体选择哪一种发送方式，要考虑实际的业务场景。 简单来说： 1、保存用户点击情况、不重要的日志分析等大频率储存，但不担心丢失的情况下使用异步发送 2、订单、支付信息，信息量不一定很多，但是非常重要，就需要采取同步 ...
分类：
编程语言 时间：
2020-03-13 20:43:39
阅读次数：
80
问题项目使用spring-kafka操作消费kafka近期出现消费速度变慢，consumer消费一条数据平均需要200ms的时间，并且频繁发生，consumer会停止消费十几秒。日志分析以下为日志记录，consumer会时长从消费组中掉出再重新加入o.a.k.c.c.i.AbstractCoordinator:542-Markingthecoordinator127.0.0.1:9092(id:2
分类：
其他好文 时间：
2020-02-28 19:02:51
阅读次数：
461
一、造成崩溃的原因 1、代码中存在bug 2、Watchdog 超时机制 3、用户强制退出 4、低内存终止 5、其他违法系统规则的操作，大部分是内存问题 二、崩溃的类型 1、EXC_BAD_ACCESS 2、SIGSEVG ...
分类：
移动开发 时间：
2020-02-26 21:16:18
阅读次数：
322
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类：
其他好文 时间：
2020-02-20 22:15:37
阅读次数：
69
今天遇到两位三方人员跟我反馈，某微服务的异步接口功能不正常了，由于该异步接口采用Kafka异步消息的方案，对方说没有收到Kafka给消费者的通知，根据此问题，联系了相关人员进行了分析： （一）明确环境是否一致 1、生产者和消费者链接Kafka的地址是否一致，初步发现A方消费者链接Kafka的地址不正 ...
分类：
其他好文 时间：
2020-02-20 15:14:09
阅读次数：
109
分类: "ELK" undefined 第1章 ELK简介 第2章: 传统日志分析需求 第3章: 日志收集分类 第4章 准备ES单机环境 第6章: filebeat收集Nginx的json格式日志 1.上面方案不完善的地方 2.理想中的情况 3.目标 4.修改nginx配置文件使日志转换成json ...
分类：
其他好文 时间：
2020-02-18 14:35:25
阅读次数：
89
需求1.开发人员不能登录线上服务器查看日志2.各个系统都有日志，日志分散难以查找3.日志数据量大，查找慢，数据不够实时解决办法：部署ELK平台ELK介绍ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志
分类：
其他好文 时间：
2020-02-18 09:40:00
阅读次数：
367
