一：简述
本人之前搭建elk+redis架构收集日志，出现瓶颈，现使用新架构（els+kafka+rsyslog+hadoop-hdfs+zookeeper），解决方案。
二：搭建过程
A.rsyslogd服务
通过对 rsyslog官方文档 查看,得知 rsyslog对 kafka的支持是 v8.7.0版本后才提供的支持.通过 ChangeLog 也可以看出 V...
分类：
其他好文 时间：
2016-04-29 16:11:41
阅读次数：
1097
http://www.tuicool.com/articles/QFvARfr
开源实时日志分析ELK平台部署
版本：elasticsearch-2.3.2
logstash-2.3.2
kibana-4.5.0
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配...
分类：
其他好文 时间：
2016-04-29 15:04:07
阅读次数：
176
input{
file{
type=>"java-err"
path=>"/fsmeeting/tomcat-service/logs/catalina.out"
tags=>"java-err"
codec=>multiline{
pattern=>"^%{TIMESTAMP_ISO8601}"
negate=>true
what=>"previous"
}
}
}
filter{
if[type]=="java-err"{
grok{
match=>{"m..
分类：
其他好文 时间：
2016-04-19 20:27:01
阅读次数：
2759
话说互联网的江湖一点都不风平浪静，这不刚处理完http://fengwan.blog.51cto.com/508652/1757465短信攻击，敌人又卷土重来，而且方法更先进。从上面可以看到敌人通过模拟Referer对我方阵地实施打击，不断耗费我方短信资源。通过对敌人进行画像:分析IP分析X-FORWARD-IP分析设备..
分类：
其他好文 时间：
2016-04-19 20:20:17
阅读次数：
211
部署环境： centos 6.X jdk 1.7 elasticsearch 2.3.1 https://www.elastic.co/downloads/elasticsearch logstash 2.3.1 https://www.elastic.co/downloads/logstash K ...
分类：
其他好文 时间：
2016-04-15 13:42:24
阅读次数：
688
2013年，云计算领域从此多了一个名词“Docker”。以轻量著称，更好的去解决应用打包和部署。之前我们一直在构建Iaas，但通过Iaas去实现统一功 能还是相当复杂得，并且维护复杂。将特殊性封装到镜像中实现几乎一致得部署方法，它就是“Docker”，以容器为技术核心，实现了应用的标准化。企业可 以 ...
分类：
其他好文 时间：
2016-04-12 07:13:45
阅读次数：
933
简介 Elasticsearch是一个分布式的、可伸缩的、实时搜索和分析引擎，简称ES。Elasticsearch、Logstash、Kibana构成ELK stack，从数据采集到数据分析处理以及最后的数据可视化，为很多数据场景提供了稳定的解决方案。 图1：es是什么？ 现今有很多公司采用elas ...
分类：
其他好文 时间：
2016-04-09 10:31:10
阅读次数：
149
下载好elastic2.2.0,修改elasticsearch.yml，报这个错误：问题出在空格上，需要有空格。就OK了。2.elasticsearch不能用root启动，需要添加普通用户[root@node160bin]#groupaddelk
[root@node160bin]#useraddelk-gelk-pelasticsearch
[root@node162elk]#chown-Relk.elkelasticse..
分类：
其他好文 时间：
2016-04-06 11:34:20
阅读次数：
344
Logstash配置 input { kafka { zk_connect => "127.0.0.1:2181" topic_id => "cluster" codec => plain reset_beginning => false consumer_threads => 5 dec... ...
分类：
Web程序 时间：
2016-04-05 19:53:28
阅读次数：
230
ELK简单安装与配置Elasticsearch是一个分布式可扩展的实时搜索和分析引擎，它能帮助你搜索、分析和浏览数据；它是一个建立在全文搜索引擎ApacheLucene(TM)基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。一、环境介绍1、架构介绍ELK是C/S架构的..
分类：
其他好文 时间：
2016-04-05 14:12:59
阅读次数：
395
