1. 全文检索的通用步骤： 1、建库步骤： a 分词 b 倒排索引 : 关键词和记录Id的对应关系,1对多。 2、查询步骤： a 分词 b 查索引 c 取交集或并集 2. 产品使用全文检索的一种场景 如上图， 由数据库或者应用软件生成数据，通过logstash导入elasticSearch系统。 K ...
分类：
其他好文 时间：
2018-06-15 23:31:21
阅读次数：
292
下载filebeat的rpm包安装filebeat 安装 配置文件/etc/filebeat/filebeat.yml 写一个配置文件 默认不带type这里自定义type为document_type: system-log-5611 排除空行exclude_lines: ['^DBG','^$'] ...
分类：
其他好文 时间：
2018-06-15 00:01:45
阅读次数：
900
一、下载从官网下载：https://www.elastic.co/downloads/logstash；二、配置1、修改config下的jvm.options：1??根据需要修改最大堆和最小堆2??我这里使用的jdk1.8，gc使用G1，所以需要重新配置；-XX:+UnlockDiagnosticVMOptions-XX:+UseCompressedOops-XX:+UseG1GC-XX:MaxG
分类：
其他好文 时间：
2018-06-13 18:07:43
阅读次数：
299
一、整体架构二、filebeat介绍fielbeat是基于logstash-forwarder的源码改造而来，换句话说：filebeat就是最新版的logstash-forwarder。他负责从当前服务器获取日志然后转发给Logstash或Elasticserach进行处理。Filebeat是一个日志文件托运工具，做为一个agent安装到服务器上，filebeat会监控日志目录或者指定的日志文件，
分类：
其他好文 时间：
2018-06-13 16:30:43
阅读次数：
477
grok作为一个logstash的过滤插件，支持根据模式解析文本日志行，拆成字段。 nginx日志的配置： logstash中grok的正则（添加在/usr/local/logstash-6.2.4/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-c ...
分类：
其他好文 时间：
2018-06-12 12:49:49
阅读次数：
320
使用redis的原因是当多个clinet同时写入到logstash或者elasticsearch时候，有io瓶颈，所以选择了redis,当然可以使用kafka，rabbitmq等消息中间件redis3.2.3安装依赖yuminstall-ygccgcc-c++pcrezlibpcre-develtcl解压改名cd到目录编译安装测试make&&cdsrc&&maket
分类：
其他好文 时间：
2018-06-12 11:25:54
阅读次数：
306
filebeat logstash配置模板说明为了让不同类型的日志记录到不同index，实现日志分类，需要更改默认的配置文件，ELK更新迭代速度很快，网上以前的文档适用于之前的版本filebeat的docment_type配置项已经在6版本中弃用，请使用本文配置filebeat配置模板deploy@Product1:~$?cat?/etc/filebeat/filebeat.y
分类：
其他好文 时间：
2018-06-11 13:42:36
阅读次数：
189
ELK是由Elasticsearch、Logstash、Kibana三个组件组成的。Elasticsearch：是ELK的核心插件，是一个基于Lucene的搜索服务器，它提供一个分布式多用户能力的全文搜索引擎，能够达到实时搜索，稳定，可靠，快速，安装方便。Elasticsearch服务会开启两个端口，9200和9300，其中9200是对外服务的，9300是对集群内交互使用的。Logstash：日志
分类：
其他好文 时间：
2018-06-10 17:23:04
阅读次数：
208
把tomcat访问日志转换成json格式然后收集 修改配置文件conf/server.xml把日志输出改成json格式 添加logstash配置文件（日志按天切割可以使用*进行匹配所有） ...
分类：
其他好文 时间：
2018-06-09 16:38:28
阅读次数：
142
Docker 部署ELK 日志分析elk集成镜像包 名字是 sebp/elk安装 docke、启动yum install dockeservice docker startDocker至少得分配3GB的内存；不然得加参数 -e ES_MIN_MEM=128m -e ES_MAX_MEM=1024m 加了-e参数限制使用最小内存及最大内存。Elasticsearch至少需要单独2G的内存
分类：
其他好文 时间：
2018-06-08 18:06:28
阅读次数：
319
