一.ELK安装1.软件架构：filebeat----elasticsearch----kibana+sentinel---(邮件和钉钉)2.软件下载地址：https://www.elastic.co/cn/downloads/past-releases#（本教程使用的为6.2.4）3.elasticsearch安装[root@VM_0_7_centos~]#egrep-v"^$|^#&q
分类：
其他好文 时间：
2019-07-13 00:50:50
阅读次数：
418
Nginx日志格式log_formatmain‘$remote_addr-$remote_user[$time_local]"$request"‘‘$status$body_bytes_sent"$http_referer"‘‘"$http_user_agent""$http_x_forwarded_for"‘‘"$http_host""$request_time""$upstream_respo
分类：
其他好文 时间：
2019-07-12 00:52:57
阅读次数：
351
译者前言近期的主要工作是在为公司的APP增加搜索功能。因为也遇到了需要把关系型数据库中的数据同步ElasticSearch中的问题，故抽了点时间翻译了这篇官方的博文。最近，在数据同步方面也有些思考。本篇文章的重点不在Logstash的JDBC插件的使用方法，而是数据同步会遇到的一些细节问题如何处理。我觉得，这些设计思想是通用的，无论你使用的何种方式进行数据同步。翻译正文为了利用ElasticSea
分类：
数据库 时间：
2019-07-12 00:45:13
阅读次数：
117
对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELKStack，所以说ELKStack指的是Elasticsearch(java)、Log ...
分类：
其他好文 时间：
2019-07-11 12:20:02
阅读次数：
94
到目前为止，logstash 没有给出官方的，在 windows 系统中作为后台服务运行的方式。本文将介绍如何使用第三方工具 nssm 让 logstash 作为后台服务运行在 windows 中。说明：演示的环境为 windows server 2016，logstash 的版本为 6.2.4。 ...
解决 Elasticsearch 超过 10000 条无法查询的问题 问题描述 分页查询场景，当查询记录数超过 10000 条时，会报错。 使用 Kibana 的 Dev Tools 工具查询 从第 10001 条到 10010 条数据。 查询语句如下： 查询结果，截图如下： 报错信息如下： 原因分 ...
分类：
其他好文 时间：
2019-07-08 19:45:07
阅读次数：
470
MySQL数据库调优 定位慢查询得到生产环境那些sql语句响应慢，根据执行计划进行分析调优事物管理索引结构（B+树）平衡二叉树、B树、B+树分库分表后，如何解决查询 使用第三方数据库中间件（MyCat、Sharding-JDBC) 什么使用RedisSpring IOC原理 Logstash与MQ实 ...
分类：
编程语言 时间：
2019-07-08 10:50:58
阅读次数：
136
一、Elasticsearch单机安装 1.将es安装包传到服务器上 这是安装包 这里我是用的是WinSCP上传工具，上传到/home/plugins文件下。 进入Xshell，验证一下是否上传成功。 2.创建es目录 mkdir -p /usr/local/es（es1，es2，es3暂时不要安装 ...
分类：
其他好文 时间：
2019-07-07 16:06:40
阅读次数：
123
logstash异常 1 2 3 Unrecognized VM option 'UseParNewGC' Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred. Program ...
分类：
其他好文 时间：
2019-07-06 17:46:30
阅读次数：
110
架构图 考虑到日志系统的可扩展性以及目前的资源（部分功能复用），整个ELK架构如下： 架构解读 : （整个架构从左到右，总共分为5层） 第一层、数据采集层 最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发送给两个logstash服务（2.187、2.189） 第 ...
分类：
其他好文 时间：
2019-07-04 17:38:00
阅读次数：
181
