本次构架图如下 说明： 1，前端服务器只启动轻量级日志收集工具filebeat（不需要JDK环境） 2，收集的日志不进过处理直接发送到redis消息队列 3，redis消息队列只是暂时存储日志数据，不需要进行持久化 4，logstash从redis消息队列读取数据并且按照一定规则进行过滤然后存储至e ...
分类：
其他好文 时间：
2018-06-18 12:40:32
阅读次数：
787
下载filebeat的rpm包安装filebeat 安装 配置文件/etc/filebeat/filebeat.yml 写一个配置文件 默认不带type这里自定义type为document_type: system-log-5611 排除空行exclude_lines: ['^DBG','^$'] ...
分类：
其他好文 时间：
2018-06-15 00:01:45
阅读次数：
900
一、整体架构二、filebeat介绍fielbeat是基于logstash-forwarder的源码改造而来，换句话说：filebeat就是最新版的logstash-forwarder。他负责从当前服务器获取日志然后转发给Logstash或Elasticserach进行处理。Filebeat是一个日志文件托运工具，做为一个agent安装到服务器上，filebeat会监控日志目录或者指定的日志文件，
分类：
其他好文 时间：
2018-06-13 16:30:43
阅读次数：
477
filebeat logstash配置模板说明为了让不同类型的日志记录到不同index，实现日志分类，需要更改默认的配置文件，ELK更新迭代速度很快，网上以前的文档适用于之前的版本filebeat的docment_type配置项已经在6版本中弃用，请使用本文配置filebeat配置模板deploy@Product1:~$?cat?/etc/filebeat/filebeat.y
分类：
其他好文 时间：
2018-06-11 13:42:36
阅读次数：
189
把tomcat访问日志转换成json格式然后收集 修改配置文件conf/server.xml把日志输出改成json格式 添加logstash配置文件（日志按天切割可以使用*进行匹配所有） ...
分类：
其他好文 时间：
2018-06-09 16:38:28
阅读次数：
142
Docker 部署ELK 日志分析elk集成镜像包 名字是 sebp/elk安装 docke、启动yum install dockeservice docker startDocker至少得分配3GB的内存；不然得加参数 -e ES_MIN_MEM=128m -e ES_MAX_MEM=1024m 加了-e参数限制使用最小内存及最大内存。Elasticsearch至少需要单独2G的内存
分类：
其他好文 时间：
2018-06-08 18:06:28
阅读次数：
319
Docker部署ELK日志分析elk集成镜像包名字是sebp/elk安装docke、启动yuminstalldockeservicedockerstartDocker至少得分配3GB的内存；不然得加参数-eES_MIN_MEM=128m-eES_MAX_MEM=1024m加了-e参数限制使用最小内存及最大内存。Elasticsearch至少需要单独2G的内存；vm.max_map_count至少需
分类：
其他好文 时间：
2018-06-08 18:06:10
阅读次数：
205
Docker 部署ELK 日志分析elk集成镜像包 名字是 sebp/elk安装 docke、启动yum install dockeservice docker startDocker至少得分配3GB的内存；不然得加参数 -e ES_MIN_MEM=128m -e ES_MAX_MEM=1024m 加了-e参数限制使用最小内存及最大内存。Elasticsearch至少需要单独2G的内存
分类：
其他好文 时间：
2018-06-08 18:04:55
阅读次数：
154
Docker 部署ELK 日志分析elk集成镜像包 名字是 sebp/elk安装 docke、启动yum install dockeservice docker startDocker至少得分配3GB的内存；不然得加参数 -e ES_MIN_MEM=128m -e ES_MAX_MEM=1024m 加了-e参数限制使用最小内存及最大内存。Elasticsearch至少需要单独2G的内存
分类：
其他好文 时间：
2018-06-08 18:04:48
阅读次数：
544
配置tags、document_type一直报错filebeat.prospectors:input_type:logpaths:/data/logs/access.logtags:["-tags"]document_type:"gc-document"尝试了N多次加“”-“”不好使，顶行不好使，最终尝试了N多次终于发现问题了。原来前面2个空格就可以。不熟悉
分类：
其他好文 时间：
2018-06-07 14:18:12
阅读次数：
115
