Kafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目...
分类：
其他好文 时间：
2015-12-28 00:52:07
阅读次数：
219
RHEL6.x搭建rsyslog日志服务器和loganalyzer日志分析工具===============================================rsyslog的介绍logrotate日志滚动的介绍rsyslog的存储途径基于web的loganalyzer日志分析工具的搭建======================================================一、rsyslog..
分类：
数据库 时间：
2015-12-25 19:32:01
阅读次数：
447
写此文章和就是为了记录logstash+elasticsearch+kibana+redis搭建过程。所有程序都是运行在windows 平台下。1. 下载 1.1 logstash, elasticsearch, kinana 从官方站点下载:https://www.elastic.co/ 1......
分类：
其他好文 时间：
2015-12-18 18:53:01
阅读次数：
185
目标：按文章类型分别统计文章PV，并按PV倒序显示分析：从NGINX日志按URL特征可以取出所有文章页URL，并从URL中得到ID拿ID到数据库中可查询出文章所属类型type具体操作：从日志中取出所有详情页URL特征片段，并排重统计每个文章的访问量，将结果另存为m1214.cntcataccess.log|g..
分类：
编程语言 时间：
2015-12-15 19:33:20
阅读次数：
190
在前面两篇文章中记录了使用logstash来收集mysql的慢查询日志，然后通过kibana以web的方式展示出来，但在生产环境中，需求会更复杂一些，而且通过logstash写正则，实在是个费时费劲的事。例如在生产环境中会有要求分析某个时间段mysql或者mongodb的慢查询日志情况；还有I/O吞吐..
分类：
其他好文 时间：
2015-12-14 19:16:44
阅读次数：
297
功用：通过使用logrotate和crontab，将Nginx单日志，按照logrotate配置要求每个小时进行一次转储操作。运行环境：centos6.6,所需安装程序：logrotate，crontab安装：yuminstalllogrotatecrontabs配置logrotate添加|修改/etc/logrotate.d/nginx内容为/var/log/nginx/access/acce..
分类：
其他好文 时间：
2015-12-11 18:56:14
阅读次数：
146
[root@Cagios logstash-2.1.0]# cat /usr/local/logstash-2.1.0/logstash_agent.conf input { file { type => "apache_access" path => ["/var/log/httpd...
分类：
Web程序 时间：
2015-12-08 12:56:42
阅读次数：
138
环境：客户端和服务端都需要安装rsyslog服务跳板机-rsyslogserver端/etc/rsyslog.d/server.conf
$ModLoadimtcp
$InputTCPServerRun514
/etc/rsyslog.conf
local4.*/var/log/history.log
sudoservicersyslogrestart客户端-rsyslogclient端/etc/rsyslog.d/client.conf
local4.*@@..
分类：
其他好文 时间：
2015-12-08 07:28:41
阅读次数：
216
阅读本文前请浏览ELKStack最新版本测试一安装篇http://jerrymin.blog.51cto.com/3002256/1720109详细配置如下：一，客户端1，nginx日志格式log_formatlogstash_json‘{"@timestamp":"$time_iso8601",‘‘"host":"$server_addr",‘‘"clientip":"$remote_addr",‘‘"size":$body_bytes_..
分类：
其他好文 时间：
2015-12-07 00:45:37
阅读次数：
311
版本filebeat1.0.0-rc2logstash2.0.0-1elasticsearch2.0.0kibana4.2名词解释Elasticsearch存储索引KibanaUIKibanadashboard可视化思维图LogstashInputBeatsplugin收集事件Elasticsearchoutputplugin发送事务Filebeat日志数据托运人shipperTopbeat轻量级服务器监控Packetbeat在..
分类：
其他好文 时间：
2015-12-07 00:45:37
阅读次数：
1053
