转发自： "FREEBUF专栏" 原文链接： "https://www.freebuf.com/column/227843.html" 0x01 简介 在发生网页篡改、服务器被植入挖矿木马等安全攻击事件时，日志能协助进行安全事件还原，能尽快找到事件发生的时间、原因等，所以日志收集还是很重要的。本文整 ...
分类：
其他好文 时间：
2020-02-29 22:06:26
阅读次数：
380
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类：
其他好文 时间：
2020-02-20 22:15:37
阅读次数：
69
分类: "ELK" undefined 第1章 ELK简介 第2章: 传统日志分析需求 第3章: 日志收集分类 第4章 准备ES单机环境 第6章: filebeat收集Nginx的json格式日志 1.上面方案不完善的地方 2.理想中的情况 3.目标 4.修改nginx配置文件使日志转换成json ...
分类：
其他好文 时间：
2020-02-18 14:35:25
阅读次数：
89
需求1.开发人员不能登录线上服务器查看日志2.各个系统都有日志，日志分散难以查找3.日志数据量大，查找慢，数据不够实时解决办法：部署ELK平台ELK介绍ELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志
分类：
其他好文 时间：
2020-02-18 09:40:00
阅读次数：
367
CRUD 在我们的项目中有日志是一个必不可少的东西，但是日志的检索是一个很麻烦的事情，如每天一个日志，要找到问题就得一个一个找，并不能做到检索功能，这还算好的，如果是分布式的，每个机器都得找一遍，这种效率太低，当然可以把日志收集到一个文件中，多个机器每天的日志可以收集到一块，如果把所有的日志收集一块 ...
分类：
其他好文 时间：
2020-02-13 17:35:35
阅读次数：
102
四 资源控制器 一、什么是控制器 Kubernetes 中内建了很多 controller（控制器），这些相当于一个状态机，用来控制 Pod 的具体状态和行为 二、控制器类型 ① ReplicationController 和 ReplicaSet ② Deployment ③ DaemonSet ...
分类：
Web程序 时间：
2020-02-07 22:16:07
阅读次数：
110
Kafka系列1：Kafka概况 Kafka是当前分布式系统中最流行的消息中间件之一，凭借着其高吞吐量的设计，在日志收集系统和消息系统的应用场景中深得开发者喜爱。本篇就聊聊Kafka相关的一些知识点。主要包括以下内容： Kafka简介 Kafka特点 Kafka基本概念 Kafka架构 Kafka的 ...
分类：
其他好文 时间：
2020-02-04 23:18:57
阅读次数：
78
一、消息重复现象 在 MQTT 协议中，给出了三种传递消息时能够提供的服务质量标准： At most once:最多一次，这种情况会丢失部分数据，一般日志收集这种对数据不严格的可以使用 At least once:最少一次，这种会导致一条消息重复发送 Exactly once:正好一次，一条消息只会 ...
分类：
其他好文 时间：
2020-01-30 09:14:17
阅读次数：
500
一、课程介绍 在以前，我们做日志收集大多使用 Log4net，Nlog 等框架，在应用程序变得复杂并且集群的时候，可能传统的方式已经不是很好的适用了，因为收集各个日志并且分析他们将变得麻烦而且浪费时间。相信大家的项目中日志功能已经做为基础设施里必不可少的一部分了，日志记录不仅可以更好的记录用户行为， ...
分类：
Web程序 时间：
2020-01-29 15:54:15
阅读次数：
103
ETCD 日志收集项目 为什么要自己写不用ELK? ELK: 部署的时候麻烦每一个filebeat都需要配置一个配置文件 使用etcd来管理被收集的日志项。 项目的架构 上节课项目进度 1. kafka：消息队列 2. tailf：从文件里读日志 3. go ini：解析配置文件 今日内容 etcd ...
分类：
其他好文 时间：
2020-01-29 10:58:36
阅读次数：
193
