最近在使用Lostash的过程中遇到了一个问题：在一个log文件里包含两类数据，而且两类数据之间存在父子关系，那如何使用lostash的configuration实现这个需求呢 思路： 在此要感谢elastic官方论坛的一个帖子:"keep global variable in logstash"， ...
分类：
其他好文 时间：
2016-08-19 00:38:28
阅读次数：
1476
近发现elasticsearch近期索引文件大的吓人，清理了下之前的索引文件，发现服务器性能大大的减轻了一半，想一直保留近一个月的索引文件，但是又不想每个月手动清楚，在此写了一个小脚本一、手动删除rm-rf*2016-07-*二、api删除curl-XDELETE‘http://127.0.0.1:9200/logstash-2016..
分类：
其他好文 时间：
2016-08-17 23:30:10
阅读次数：
1211
es集群里的masternode、datanode和clientnode到底是怎么个意思，分别有何特点？master节点主要功能是维护元数据，管理集群各个节点的状态，数据的导入和查询都不会走master节点，所以master节点的压力相对较小，因此master节点的内存分配也可以相对少些；但是master节点是最重..
分类：
其他好文 时间：
2016-08-12 22:18:52
阅读次数：
8282
es集群里的masternode、datanode和clientnode到底是怎么个意思，分别有何特点？master节点主要功能是维护元数据，管理集群各个节点的状态，数据的导入和查询都不会走master节点，所以master节点的压力相对较小，因此master节点的内存分配也可以相对少些；但是master节点是最重..
分类：
其他好文 时间：
2016-08-12 22:18:12
阅读次数：
173
http://www.cnblogs.com/mchina/p/linux-centos-rsyslog-loganalyzer-mysql-log-server.html ...
分类：
数据库 时间：
2016-08-12 15:20:18
阅读次数：
172
1、介绍elk是实时日志分析平台，主要是为开发和运维人员提供实时的日志分析，方便人员更好的了解系统状态和代码问题。2、elk中的e（elasticsearch）:（2.1）先安装依赖包，官方文档说明使用java1.8yum-yinstalljava-1.8.0-openjdk安装elasticsearch：tarzvxfelasticsearch-1.7...
分类：
其他好文 时间：
2016-08-11 23:30:29
阅读次数：
814
记录下从安装到正常使用过程中跳过的坑1、java环境的问题，可以装高版本但一定不能低于它的要求例：2、版本兼容性的问题，3个软件都可以从官网上下载，而且下面都会有注释要求其他软件的版本官网下载地址：https://www.elastic.co/downloads例：3、针对elasticsearch，有很多插..
分类：
其他好文 时间：
2016-08-11 23:09:04
阅读次数：
656
什么是插件和插件的作用我就不说了，大家应该都知道了。 安装方法是打开下面选择项 进去后出现如下界面 选择事先下载好的插件后，点击上传。这里以nginx日志插件为例 之后查看效果，发现对应的过滤规则和仪表板等，原本都要我们手工添加的项目现在都已经自动配置好了。 ...
分类：
其他好文 时间：
2016-08-08 17:33:32
阅读次数：
179
Kafka与Logstash的数据采集 基于Logstash跑通Kafka还是需要注意很多东西，最重要的就是理解Kafka的原理。 Logstash工作原理 由于Kafka采用解耦的设计思想，并非原始的发布订阅，生产者负责产生消息，直接推送给消费者。而是在中间加入持久化层——broker,生产者把数 ...
分类：
其他好文 时间：
2016-08-07 21:34:46
阅读次数：
125
随着机房内的服务器和网络设备增加，日志管理和查询就成了让系统管理员头疼的事。 系统管理员遇到的常见问题如下： 1、日常维护过程中不可能登录到每一台服务器和设备上去查看日志； 2、网络设备上的存储空间有限，不可能存储日期太长的日志，而系统出现问题又有可能是很久以前发生的某些操作造成的； 3、在某些非法 ...
