使用logstash的时候，为了更细致的切割日志，会写一些正则表达式。 使用方法 input { file { type => "billin" path => "/data/logs/product/resul...
分类：
其他好文 时间：
2015-06-24 23:53:26
阅读次数：
6122
最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02 上线过程中有一些环节，觉得还是值的大家注意的比如：1，应用运维和研发人员...
分类：
其他好文 时间：
2015-06-19 22:58:06
阅读次数：
224
LEK - logstash + elasticsearch + KibanaElasticsearch, Logstash, and Kibana — designed to take data from any source and search, analyze, and visualize ...
分类：
其他好文 时间：
2015-06-18 17:11:17
阅读次数：
209
大型日志平台搭建
Java 环境部署
网上很多教程,此处只做出测试
java -version
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mo...
分类：
其他好文 时间：
2015-06-17 21:37:56
阅读次数：
284
logstash（1.4.2）是一个不错的日志监控与分析工具，数据通过logstash使用后端的ElasticSearch（1.1.1）集群完成数据索引，以供后续的查询、分析使用。版本必须保持兼容否则报一下错误 Upgrade?...
分类：
其他好文 时间：
2015-06-09 14:14:10
阅读次数：
400
ELK日志分析系统环境：centos6.5准备好ELK三个安装包，官网下1、安装jdk网上有的教程叫下载oracle的jdk，其实没必要，系统自带的openjdk就行了，不过需要先看下版本，1.7是不行的，要1.8以上升级到1.8先删除1.7版本#yumremove-yjava-1.7.0-openjdk然后安装1.8版本，看到下面信..
分类：
其他好文 时间：
2015-06-02 06:57:18
阅读次数：
1305
1.初步分离业务系统在运行期间会抛出来一些运行期异常日志，监控这些日志，过滤多余其它日志，然后给予相应owner告警就成为异常监控的目标之一。logstash配置如下：input {file {type => "exception"path => "/Users/xxxxx/Documents/xx...
分类：
其他好文 时间：
2015-05-29 22:55:28
阅读次数：
226
1.http请求参数分离请求url一般携带了一些业务参数，因为业务将token拼接到url的参数中，单独将其解析出来，可以用于用户行为分析，因此，基于logstash的kv进行处理。kv{ source=>"request" field_split=>"?"}2.垃圾日志清理静态页面里面...
分类：
其他好文 时间：
2015-05-29 21:42:20
阅读次数：
205
logstash轻松过滤海量日志，研究下logstash的其它插件，可以轻松监控日志并报警，爽歪歪了，直接附上脚本监控说明：1、sonp.phpson-server.php这两个URL小于100字节，状态码非200，报警
2、所有状态码非200，报警
3、所有请求超过10S，报警邮件本机配置postfix或者sendmail，监..
分类：
其他好文 时间：
2015-05-18 21:13:20
阅读次数：
147
logstash轻松过滤海量日志，研究下logstash的其它插件，可以轻松监控日志并报警，爽歪歪了，直接附上脚本监控说明：1、sonp.phpson-server.php这两个URL小于100字节，状态码非200，报警
2、所有状态码非200，报警
3、所有请求超过10S，报警邮件本机配置postfix或者sendmail，监..
分类：
其他好文 时间：
2015-05-18 21:12:03
阅读次数：
124
