ELK就是一套完整的日志分析系统 ELK=Logstash+Elasticsearch+Kibana 统一官网https://www.elastic.co/products ELK模块说明 Logstash 作用：用于处理传入的日志，负责收集、过滤和写出日志 Logstash分为三个组件input， ...
分类：
其他好文 时间：
2016-04-29 21:57:50
阅读次数：
215
一：简述
本人之前搭建elk+redis架构收集日志，出现瓶颈，现使用新架构（els+kafka+rsyslog+hadoop-hdfs+zookeeper），解决方案。
二：搭建过程
A.rsyslogd服务
通过对 rsyslog官方文档 查看,得知 rsyslog对 kafka的支持是 v8.7.0版本后才提供的支持.通过 ChangeLog 也可以看出 V...
分类：
其他好文 时间：
2016-04-29 16:11:41
阅读次数：
1097
http://www.tuicool.com/articles/QFvARfr
开源实时日志分析ELK平台部署
版本：elasticsearch-2.3.2
logstash-2.3.2
kibana-4.5.0
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配...
分类：
其他好文 时间：
2016-04-29 15:04:07
阅读次数：
176
目录rsyslog标签&等级-------------------------------------标签&日志等级通过logger命令记录日志-------------------------Logger通过logrotate进行日志转储----------------------logrotate日志转储rsyslog详解参考官网文档---------------------------http://www.r..
分类：
系统相关 时间：
2016-04-29 01:50:00
阅读次数：
445
很多软件都自带切割日志,比如tomcat可以按时间来命名.rsyslog可按日期生成文件,但是并不支持用"%$year%-%$month%-%$day%"这些变量来读取文件（目前版本号：rsyslog-8.17.0-1.el6.x86_64）。那么,就要用到日志轮询logrotate。概要，配置。全局配置：/etc/logrotate.conf局部配置..
分类：
其他好文 时间：
2016-04-26 22:19:53
阅读次数：
442
背景：nginx网站日志是记录日常网站访问行为的文件，当网站流量特别大或者运行很长时间时，这个日志文件就会变得非常大，但我们又要保留日志内容以方便查看故障原因。那么我们就需要只保留我们需要的那部分即可，这就用到了日志切割。我们可以根据日期，把日志切割成小文件，既..
分类：
其他好文 时间：
2016-04-26 22:19:24
阅读次数：
209
[root@mysql~]#cat/usr/local/logstash-2.2.0/etc/test1.conf
input{
#stdin{
#type=>"yeshuai"
#codec=>"json"
#}
file{
type=>"yeshuai"
path=>["/opt/log/test.log"]
start_position=>"beginning"
codec=>"json"
}
}
filter{
if[type]=="yeshuai"{
thro..
分类：
Web程序 时间：
2016-04-25 19:51:03
阅读次数：
468
1.awstats介绍 本文主要是记录centos6.5下安装配置awstats，并统计nginx访问日志 1.1 awstats介绍 awstats是一款日志统计工具，它使用Perl语言编写，可统计的日志类型包括appache，nginx，ftp，mail等，awstats对nginx日志统计非常 ...
分类：
其他好文 时间：
2016-04-23 18:21:58
阅读次数：
644
对logrotate运行机制的理解如下：1、由cron来调度执行，脚本位置/etc/cron.daily/logrotate
2、logrotate脚本的默认配置文件/etc/logrotate.conf
3、cron执行logrotate的时间目前未找到确切时间(次此自行定义)测试中发现因轮转日志日期只能为当前日期，因此nginx日志的轮转定时..
分类：
其他好文 时间：
2016-04-23 07:51:31
阅读次数：
192
1.统计ip访问量前10的ip地址cataccess.log|awk‘{print$1}‘|sort|uniq-c|sort-nr|head-n102.查看当天ip访问量统计cataccess.log|grep"21/Apr/2016"|awk‘{print$1}‘|sort|uniq-c|sort-nr3.查看访问前10的页面统计cataccess.log|grep"21/Apr/2016"|awk‘{print$7}‘|sort|uniq-c|sor..
分类：
系统相关 时间：
2016-04-21 18:49:14
阅读次数：
232
