下载filebeat的rpm包安装filebeat 安装 配置文件/etc/filebeat/filebeat.yml 写一个配置文件 默认不带type这里自定义type为document_type: system-log-5611 排除空行exclude_lines: ['^DBG','^$'] ...
分类:
其他好文 时间:
2018-06-15 00:01:45
阅读次数:
900
一、整体架构二、filebeat介绍fielbeat是基于logstash-forwarder的源码改造而来,换句话说:filebeat就是最新版的logstash-forwarder。他负责从当前服务器获取日志然后转发给Logstash或Elasticserach进行处理。Filebeat是一个日志文件托运工具,做为一个agent安装到服务器上,filebeat会监控日志目录或者指定的日志文件,
分类:
其他好文 时间:
2018-06-13 16:30:43
阅读次数:
477
filebeat logstash配置模板说明为了让不同类型的日志记录到不同index,实现日志分类,需要更改默认的配置文件,ELK更新迭代速度很快,网上以前的文档适用于之前的版本filebeat的docment_type配置项已经在6版本中弃用,请使用本文配置filebeat配置模板deploy@Product1:~$?cat?/etc/filebeat/filebeat.y
分类:
其他好文 时间:
2018-06-11 13:42:36
阅读次数:
189
Docker 部署ELK 日志分析elk集成镜像包 名字是 sebp/elk安装 docke、启动yum install dockeservice docker startDocker至少得分配3GB的内存;不然得加参数 -e ES_MIN_MEM=128m -e ES_MAX_MEM=1024m 加了-e参数限制使用最小内存及最大内存。Elasticsearch至少需要单独2G的内存
分类:
其他好文 时间:
2018-06-08 18:06:28
阅读次数:
319
Docker部署ELK日志分析elk集成镜像包名字是sebp/elk安装docke、启动yuminstalldockeservicedockerstartDocker至少得分配3GB的内存;不然得加参数-eES_MIN_MEM=128m-eES_MAX_MEM=1024m加了-e参数限制使用最小内存及最大内存。Elasticsearch至少需要单独2G的内存;vm.max_map_count至少需
分类:
其他好文 时间:
2018-06-08 18:06:10
阅读次数:
205
Docker 部署ELK 日志分析elk集成镜像包 名字是 sebp/elk安装 docke、启动yum install dockeservice docker startDocker至少得分配3GB的内存;不然得加参数 -e ES_MIN_MEM=128m -e ES_MAX_MEM=1024m 加了-e参数限制使用最小内存及最大内存。Elasticsearch至少需要单独2G的内存
分类:
其他好文 时间:
2018-06-08 18:04:55
阅读次数:
154
Docker 部署ELK 日志分析elk集成镜像包 名字是 sebp/elk安装 docke、启动yum install dockeservice docker startDocker至少得分配3GB的内存;不然得加参数 -e ES_MIN_MEM=128m -e ES_MAX_MEM=1024m 加了-e参数限制使用最小内存及最大内存。Elasticsearch至少需要单独2G的内存
分类:
其他好文 时间:
2018-06-08 18:04:48
阅读次数:
544
配置tags、document_type一直报错filebeat.prospectors:input_type:logpaths:/data/logs/access.logtags:["-tags"]document_type:"gc-document"尝试了N多次加“”-“”不好使,顶行不好使,最终尝试了N多次终于发现问题了。原来前面2个空格就可以。不熟悉
分类:
其他好文 时间:
2018-06-07 14:18:12
阅读次数:
115
现在的公司由于绝大部分项目都采用分布式架构,很早就采用ELK了,只不过最近因为额外的工作需要,仔细的研究了分布式系统中,怎么样的日志规范和架构才是合理和能够有效提高问题排查效率的。经过仔细的分析和研究,确定下面的架构应该是比较合理的之一(Filebeat也支持直接写到ES)。关于ELK的各种架构以及 ...
分类:
其他好文 时间:
2018-06-02 20:40:33
阅读次数:
1466