一：简单介绍 fail2ban是一款实用软件，可以监视你的系统日志，然后匹配日志的错误信息（正则式匹配）执行相应的屏蔽动作 在企业中，有些很多人会开放root登录，这样就有机会给黑客造成暴力破解的机会，root用户是众所周知的超级管理员， 即使是黑客来暴力破解没有成功，但是也可以造成你的Linux主 ...
分类：
系统相关 时间：
2016-07-02 11:38:35
阅读次数：
378
Logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理，提供Web接口用于查询和统计。Logstash配置要求Logstash支持Java1.7版本以上。启动Logstash[root@Server01bin]#./logstash-e‘input{stdin{}}output{stdout{}}‘
S..
分类：
其他好文 时间：
2016-07-01 16:35:45
阅读次数：
131
1.Syslog 在Unix类操作系统上，syslog广泛应用于系统日志。syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收syslog的服务器。接收syslog的服务器可以对多个设备的syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是网 络管理工具、 ...
分类：
编程语言 时间：
2016-06-30 19:53:18
阅读次数：
206
装完elk跑起来之后，我的内心几乎是崩溃的，16G内存16核cpu还经常报错。一、logstash和elasticsearch同时报错logstash出现大量报错，可能是es占用heap太多，没有优化es导致的retryingfailedactionwithresponsecode:503{:level=>:warn}toomanyattemptsatsendingevent.droppin..
分类：
其他好文 时间：
2016-06-30 14:40:01
阅读次数：
540
前段时间用ossec收集了一些系统的日志(syslog、secure、maillog等)，看了下elk这个架构，发现很适合ossec，也很好玩。介绍：elk官网https://www.elastic.co/downloadselk由elasticSearch、logstash和kiabana三个开源工具组成。ossec+redis+elk架构图：ossec：事件源、alert源re..
分类：
其他好文 时间：
2016-06-29 15:58:22
阅读次数：
516
1.查询所有的索引[root@Server01cx]#curl‘10.0.0.5:9200/_cat/indices?v‘
healthstatusindexprirepdocs.countdocs.deletedstore.sizepri.store.size
yellowopencustomer51206.6kb6.6kb
yellowopenbank5110000442.1kb442.1kb2.查询bank表中的所有数据[root@Server01cx]#curl‘10...
系统环境： VirtualBox Manager Centos6.4 nginx1.10.0 IP对应的机器名： IP 机器名 角色名 10.0.0.139 [elk] client 10.0.0.136 [lvs-master] nginx server 10.0.0.137 [kvm] web ...
分类：
其他好文 时间：
2016-06-27 10:38:21
阅读次数：
274
参考：日志处理 三：Filter+自定义注解实现 系统日志跟踪功能 1、项目结构 2、pom.xml，添加需要依赖 3、dispartch-servlet.xml 3、web.xml 4、Log.java，定义自定义注解 5、SystemLogAspect.java，自定义注解拦截器，实现对自定义注 ...
分类：
编程语言 时间：
2016-06-26 22:38:34
阅读次数：
759
大数据已经成为一种发展趋势，得到越来越多的公司参与。最近从事大数据系统设计开发和推荐引擎方面的工作，分几篇文章两个系列把自己的心得记录一下， 和大家分享一下大数据方面的经验。 整个平台包括监控系统、日志分析系统、推荐系统。按数据业务步骤划分，分为数据采集、清洗、存储、分析和服务。整个数据流程如下图： ...
分类：
其他好文 时间：
2016-06-26 21:01:35
阅读次数：
250
Elasticsearch提供了一个非常全面和强大的RESTAPI,您可以使用与您的集群进行交互。为数不多的可以用API的事情如下:检查您的集群、节点和索引健康状态和统计数据管理集群、节点和索引数据和元数据执行CRUD(创建、读娶更新和删除)索引和搜索操作执行高级搜索操作,比如分页、排序..
