海量日志收集项目总结（1）logagent开发 此部分源码： "logagent源码" 简介 本项目用于系统中日志的采集处理。 对于日志采集业界其实已有成熟的 ELK 方案。 ELK方案 ELK： E：Elasticserach（建立索引） L: Logstash(日志采集) K: Kibana（可 ...
分类：
其他好文 时间：
2020-05-19 10:38:54
阅读次数：
194
第一部分 概括 ELK是集分布式数据存储、可视化查询和日志解析于一体的日志分析平台。ELK=elasticsearch+Logstash+kibana，三者各司其职，相互配合，共同完成日志的数据处理工作。ELK各组件的主要功能如下： elasticsearch，数据存储以及全文检索； logstas ...
分类：
数据库 时间：
2020-05-14 02:03:08
阅读次数：
148
文本是在window下搭建单机版的ELK,ES用到的版本是2.4.0（为什么用这个版本，很大一个原因是能直接用自带插件工具去下载es_head插件，非常方便），logstash用的版本是7.6.2（亲自踩坑2.4.0，足足花了一个早上，发现用2.4.0报缺少log4j和无法读取日志文件），kiban ...
1，安装logstash-output-zabbix [root@moban7 bin]# /usr/local/logstash/bin/logstash-plugin install logstash-output-zabbix 2，创建一个logstash测试文件，测试到zabbix的输出是否 ...
分类：
其他好文 时间：
2020-05-10 14:32:26
阅读次数：
59
前言 "ELK"是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsear ...
分类：
其他好文 时间：
2020-05-09 01:25:53
阅读次数：
79
搭建ELK日志分析平台的详细过程 日志分析系统-ELK平台 由于日志文件都离散的存储在各个服务实例的文件系统之上，仅仅通过查看日志文件来分析我们的请求链路依然是一件相当麻烦的差事。 ELK平台，它可以轻松的帮助我们来收集和存储这些跟踪日志，同时在需要的时候我们也可以根据Trace ID来轻松地搜索出 ...
分类：
其他好文 时间：
2020-05-08 22:46:01
阅读次数：
109
Kafka基于Zookeeper协调的分布式日志系统，可以当做MQ。主要就是做：日志收集系统、消息系统。还有就是用于用户活动跟踪：记录web用户或者app用户的各种活动，相信大家都感受到了吧。上篇我们已经提到，消息系统的两种传递模式：点对点、订阅/发布。这里将不再赘述。【对比】名称Column2RabbitMQ使用Erlang编写的一个开源的消息队列，适合企业级的开发，同时实现了Broker构架，
分类：
其他好文 时间：
2020-05-08 09:42:36
阅读次数：
66
1、为什么要处理异常？ 增强用户体验； 远程定位问题，未雨绸缪，及早发现问题及早处理； 无法复现问题，尤其是移动端，可以查找日志； 收集错误产生的系统信息，如浏览器，机型等； 完善的前端方案，前端监控系统； 对于 JS 而言，我们面对的仅仅只是异常，异常的出现不会直接导致 JS 引擎崩溃，最多只会使 ...
分类：
其他好文 时间：
2020-05-06 16:46:26
阅读次数：
97
ELK架构日志处理逻辑：1、业务层Filebeat安装时会自动获取主机运行站点域名及环境信息新增channel及env标签，并将channel的值作为kafka的topic信息2、Kafka收到Filebeat的新增字段及Topic信息，自动创建Topic信息，以等待logstash消费3、Logstash根据脚本自动生成input及output配置这里的topic一定和filebeat的chan
分类：
其他好文 时间：
2020-05-05 21:56:19
阅读次数：
81
k8s的日志收集有多种方案，其中一种是将pod的日志挂载到node节点，然后在node节点运行单独的日志收集客户端，将日志收集并分发到其他日志分析服务如elasticsearch上。 1、阿里云k8s部署服务日志挂载参数 注释：启动后处理：是pod创建成功后执行的命令命令：["/bin/sh","- ...
分类：
其他好文 时间：
2020-05-05 15:10:08
阅读次数：
191
