filebeat.modules:- module: kafka log: enabled: truefilebeat.prospectors:- type: log enabled: true paths: - /opt/logs/jetty/xxx.log fields: name: study ...
分类：
编程语言 时间：
2018-07-04 18:56:51
阅读次数：
376
前言 日志是我们分析系统运行情况、问题定位、优化分析等主要数据源头。目前，主流的业务系统都采用了分布式、微服务的形式。如果想要查看日志，就需要从不同的节点上去查看，而且对于整个业务链路也非常不清晰。因此，我们首先引入日志收集框架，将分布在各个节点的日志统一汇总到一处。方便日志查询、分析与问题定位。 ...
分类：
其他好文 时间：
2018-07-04 17:29:30
阅读次数：
360
日志功能对于操作系统是相当重要的，在日常运维工作中，无论是系统还是应用等出了任何问题，我们首先想到的便是分析日志，查找问题原因。自从CentOS 6系统开始，CentOS便开始使用rsyslog做为日志收集服务了，相对于之前的syslog它能够支持多线程，数据库存储，支持更多了传输协议等等优点。之前 ...
分类：
其他好文 时间：
2018-07-02 11:47:00
阅读次数：
316
一、Exceptionless 简介 Exceptionless 是一个开源的实时的日志收集框架，它可以应用在基于 ASP.NET，ASP.NET Core，Web Api，Web Forms，WPF，Console，MVC 等技术栈的应用程序中，并且提供了Rest接口可以应用在 Javascrip ...
分类：
其他好文 时间：
2018-06-26 11:08:36
阅读次数：
337
一、ELK介绍 分析数据，日志，统计，聚合分析，了解用户使用使用虚拟机情况。 openstack使用elk的原因：组件多日志多。排查定位问题方便，统一收集错误。创建虚拟机时会生成日志，若出错会产生日志，及时建立模型，可以分析问题。在大量虚拟机环境下，可以对日志进行聚合分析，进行业务分析。估算vm创建 ...
分类：
其他好文 时间：
2018-06-24 23:48:07
阅读次数：
431
本次构架图如下 说明： 1，前端服务器只启动轻量级日志收集工具filebeat（不需要JDK环境） 2，收集的日志不进过处理直接发送到redis消息队列 3，redis消息队列只是暂时存储日志数据，不需要进行持久化 4，logstash从redis消息队列读取数据并且按照一定规则进行过滤然后存储至e ...
分类：
其他好文 时间：
2018-06-18 12:40:32
阅读次数：
787
一、下载从官网下载：https://www.elastic.co/downloads/logstash；二、配置1、修改config下的jvm.options：1??根据需要修改最大堆和最小堆2??我这里使用的jdk1.8，gc使用G1，所以需要重新配置；-XX:+UnlockDiagnosticVMOptions-XX:+UseCompressedOops-XX:+UseG1GC-XX:MaxG
分类：
其他好文 时间：
2018-06-13 18:07:43
阅读次数：
299
前提：你服务器上已经安装并配置了java运行环境；一、zookeeper安装1、从zookeeper官网：http://zookeeper.apache.org/下载；我这里下载的是zookeeper-3.4.9.tar.gz;2、解压到你安装目录:tar-zxvfzookeeper-3.4.9.tar.gz二、zookeeper配置1、修改zoo.cfg（直接复制zoo_sample.cfg）;
分类：
其他好文 时间：
2018-06-13 17:21:28
阅读次数：
206
一、整体架构二、filebeat介绍fielbeat是基于logstash-forwarder的源码改造而来，换句话说：filebeat就是最新版的logstash-forwarder。他负责从当前服务器获取日志然后转发给Logstash或Elasticserach进行处理。Filebeat是一个日志文件托运工具，做为一个agent安装到服务器上，filebeat会监控日志目录或者指定的日志文件，
分类：
其他好文 时间：
2018-06-13 16:30:43
阅读次数：
477
rsyslog配置升级elasticsearsh安装配置kibana安装配置效果
分类：
其他好文 时间：
2018-06-09 17:59:59
阅读次数：
219
