一、搜索效率优化 批量提交 当有大量数据提交的时候，建议采用批量提交。 比如在做 ELK 过程中 ，Logstash indexer 提交数据到 Elasticsearch 中 ，batch size 就可以作为一个优化功能点。但是优化 size 大小需要根据文档大小和服务器性能而定。 像 Logs ...
分类：
其他好文 时间：
2018-06-26 20:50:46
阅读次数：
202
flume：用来搜集日志，将日志传输至kakfa kafka：作为缓存，存储来自flume的日志 es：作为存储媒介，存放日志 logstash：真对日志进行过滤处理 flume部署 获取安装包、解压 修改flumen-env.sh脚本，设置启动参数 编辑配置文件 创建kafka的topic 启动f ...
分类：
Web程序 时间：
2018-06-26 18:01:46
阅读次数：
357
1. Logstash概述 Logstash的官网地址为：https://www.elastic.co/cn/products/logstash，以下是官方对Logstash的描述。 Logstash是与Flume类似，也是一种数据采集工具，区别在于组件和特性两大方面。常用的数据采集工具有Sqoop ...
分类：
其他好文 时间：
2018-06-23 00:07:45
阅读次数：
296
一.配置nginx 二、配置logstash 三、Kibana展示 Head插件查看： ...
分类：
Web程序 时间：
2018-06-22 13:24:14
阅读次数：
214
1.实验环境： 使用8台CentOS主机，实现filebeat+redis+logstash+els集群(3台)+kibana来完成搜索日志相关内容，目标：filebeat来完成收集本机http数据，收集完成后发送给redis，redis主要是来避免数据量过大，logstash处理不过来，logstash是用来格式化数据，将收集来的数据格式化成指定格式，els集群是将格式化完
分类：
其他好文 时间：
2018-06-21 22:28:32
阅读次数：
226
ELK MAC环境搭建 本文旨在记录elasticsearch、logstash、kibana在mac下的安装与启动。 先决条件 java8 mac软件管理工具brew brew相关命令 elasticsearch mac安装elasticsearch elasticsearch的相关安装位置 安装 ...
分类：
系统相关 时间：
2018-06-21 19:47:39
阅读次数：
1859
一、logstash介绍 Logstash是一个开源的数据收集引擎，可以水平伸缩，而且logstash是整个ELK当中拥有最多插件的一个组件，其可以接收来自不同源的数据并统一输入到指定的且可以是不同目的地。 logstash收集日志基本流程: input-->codec-->filter-->cod ...
分类：
其他好文 时间：
2018-06-20 21:12:53
阅读次数：
182
环境 mac https://github.com/theangryangel/logstash-output-jdbc logstash-plugin install logstash-output-jdbc 直接安装失败 自已编译本地包 logstash实际应用的是jruby，但mac默认的ru ...
分类：
数据库 时间：
2018-06-19 18:56:53
阅读次数：
543
本次构架图如下 说明： 1，前端服务器只启动轻量级日志收集工具filebeat（不需要JDK环境） 2，收集的日志不进过处理直接发送到redis消息队列 3，redis消息队列只是暂时存储日志数据，不需要进行持久化 4，logstash从redis消息队列读取数据并且按照一定规则进行过滤然后存储至e ...
分类：
其他好文 时间：
2018-06-18 12:40:32
阅读次数：
787
json Nginx默认日志输出格式为文本非json格式，修改配置文件即可输出json格式便于收集以及绘图 修改nginx配置文件添加配置，增加一个json输出格式的日志格式 日志输出格式为 配置logstash文件先标准输出查看效果 启动/usr/share/logstash/bin/logsta ...
分类：
Web程序 时间：
2018-06-17 13:31:04
阅读次数：
560
