本次升级并没有增加新的告警，而是增加了window的日志分析，主要分析了windows的登录日志和操作日志，这两个比较重要的日志类型，其他日志类型可以作为通用的日志收集功能进行存储查询。Windows系统没有自带的功能支持系统日志进行syslog发送，因此需要依赖第三方工具，这里我..
1、日志平台的工作流程多个独立的agent(Shipper)负责收集不同来源的数据，一个中心agent(Indexer)负责汇总和分析数据，在中心agent前的Broker(使用redis实现)作为缓冲区，中心agent后的ElasticSearch用于存储和搜索数据，前端的Kibana提供丰富的图表展示。Shipper表示日志收集..
分类：
其他好文 时间：
2015-08-14 17:18:40
阅读次数：
668
Flume该演示是不是说。你可以自己搜索。但现在的互联网主要是Flume 1.4前版本号的信息。Flume 1.5在轰动的大变化。假设你准备尝试，我在这里给大家介绍一下程序最小化结构，和使用MongoSink的数据被存储mongodb。完全独立的执行，没有master。没有collector（说白了...
分类：
数据库 时间：
2015-08-12 13:10:10
阅读次数：
389
elk分析nginx、dns日志部署环境192.168.122.187Logstash-1.5.1elasticsearch-1.6.0kibana-4.1.1Centos6.4192.168.122.1Redis-2.8Centos7.1192.168.122.2Nginxlogstash-1.5.2supervisor-2.1-9java-1.7Centos6.4192.168.122.247Bind9logstash-1.5.2supervisor-2.1-9java-1.7Cento..
分类：
其他好文 时间：
2015-08-06 18:45:01
阅读次数：
343
如题，Elasticserch内存小，造成jvm的内存溢出，或者就是集群状态变为Red。网上很多都是不经过自己的操作，下面贴代码。下面是调参的方法源码的调参，就是找到文件[root@localhostbin]#pwd
/home/data/elasticsearch-1.5.2/bin
[root@localhostbin]#ls
1.jsonelasticsearch.in...
分类：
其他好文 时间：
2015-08-03 22:58:23
阅读次数：
220
flume是cloudera公司的一款高性能、高可能的分布式日志收集系统。flume的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。flume传输的数据的基本单位是event，如果是文本文件，通常是一行记...
分类：
Web程序 时间：
2015-07-30 23:16:06
阅读次数：
377
原文:http://www.36dsj.com/archives/25042接上一部分：一共81个，开源大数据处理工具汇总（上），第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。日志收集系统一、Facebo...
分类：
其他好文 时间：
2015-07-29 13:57:55
阅读次数：
135
介绍
概述
Apache Flume是一个用来从很多不同的源有效地收集，聚集和移动大量的日志数据到一个中心数据仓库的分布式的，可靠的和可用的系统。
Apache Flume是Apache软件基金会的顶级项目。目前有两个可获得的发布代码路线，0.9.x版本和1.x版本。本文档适用于1.x代码线。对于0.9.x代码线，请看Flume 0.9.x开发指南。
结构
数据流模型
一个Eve...
分类：
Web程序 时间：
2015-07-25 21:37:30
阅读次数：
495
使用Nginx的网站可能会遇到访问流量异常、被友情检测、程序出现Bug等各种突然情况，这时大家的反应想必都是第一时间分析日志，然后发现日志有几十GB之多，又需要按照时间、错误类型或者关键字段检索信息时会不会有种醍醐灌顶、菊花一紧的错觉。文中介绍的方法不管是GoAccess还是sed/awk虽然可以解决一时的问题但未必能够治本，也许`ELK(Logstash+ElasticSearch+Kibana)`对我们大多数人来...
分类：
数据库 时间：
2015-07-17 00:28:10
阅读次数：
1331
