ELK之logstash系统日志和nginx日志收集-4
分类：
其他好文 时间：
2019-04-03 13:59:07
阅读次数：
133
logging模块简介： logging模块是Python内置的标准模块，主要用于输出运行日志，可以设置输出日志的等级、日志保存路径、日志文件回滚等；相比print，具备如下优点： 怎么使用logging? 设置日志收集器的名称 创建输出渠道- 日志输出渠道，默认输出warning以上的的错误，可自 ...
分类：
编程语言 时间：
2019-04-01 18:45:23
阅读次数：
195
[TOC] elk简介 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logst ...
分类：
其他好文 时间：
2019-03-25 01:20:31
阅读次数：
393
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类：
其他好文 时间：
2019-03-20 19:07:52
阅读次数：
217
Filebeat的配置文件是/etc/filebeat/filebeat.yml，遵循YAML语法。具体可以配置如下几个项目： Filebeat Output Shipper Logging(可选) Run Options（可选） 这个Blog主要讲解Filebeat的配置部分，其他部分后续会有新的 ...
分类：
其他好文 时间：
2019-03-13 16:46:41
阅读次数：
351
filebeat是一个轻量的日志收集工具，全套使用go语言开发。 我目前遇到的问题是，在收集的时候需要对数据进行采样，采样比和采样形式要灵活，因为可能在多个项目会使用到这个日志收集功能。刚开始我仔细研究filebeat的配置，我感觉他自身应该带有采集需求，然而并没有。于是我想着去修改他的源码，这样也很方便。然而这个方案不可行，因为这是一个开源项目，后期
分类：
其他好文 时间：
2019-03-09 23:36:14
阅读次数：
188
#（1）filebeat下载https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.0-linux-x86_64.tar.gz#（2）构建filebeat镜像1）准备dockerfile文件#catdockerfileFROMdocker.io/centosWORKDIR/usr/localCOPYfilebeat-5.
分类：
其他好文 时间：
2019-03-07 10:27:46
阅读次数：
340
传输文件到hadoop，从日志收集服务器 虽然这些scp就能完成，但是，scp怎么保证任务中断，负载均衡，状态查看。。。 flume能帮你做到这些，好强大啊，这个框架 ...
分类：
Web程序 时间：
2019-02-27 01:02:38
阅读次数：
373
前言 我一直负责公司的 nginx 日志收集，现在每天的 pv 数在10亿级别，存储大概1T（ 2 默认的 elasticsearch 5分片2副本）不到，因为开始的时候 nginx 日志也是逐渐收集的，因为是第一次做问题也比较多，想着等着我们的 ELK 平台成熟了再接应用的日志。 当前的问题 如果 ...
分类：
其他好文 时间：
2019-02-06 19:55:36
阅读次数：
207
