为了统计方便，我们要从日志中选择一些消息放到数据库。对数据库读写支持要在编译时就要加上参数，还要在配置文件中开启对应的模块。模块如果很多监控都需要到数据库模块，可以放到/etc/rsyslog.conf全局配置文件里，如果只是某个监控收集用到那就放到/etc/rsyslog.d/的对应局..
分类：
数据库 时间：
2016-04-21 18:48:35
阅读次数：
317
面试的时候一定会被面到的问题是：给出web服务器的访问日志，请写一个脚本来统计访问前10的IP有哪些？访问前10的请求有哪些？当你领略过goaccess之后，你就明白，这些问题，除了考验你的脚本背诵记忆能力以外，唯一的作用只有装A或者装C了。 对于nginx日志分析，有很多工具，衡量好坏的标准大概就 ...
分类：
数据库 时间：
2016-04-21 11:43:45
阅读次数：
337
简介系统日志：记录历史事件，通常都是按时间顺序将发生的事件予以记录，linux上的日志分为syslogd(系统进程相关日志)和klogd(内核事件日志)centos5：syslog缺点：不能进行并行数据存储，效率低，不能实现放在专用数据管理文件中centos6：rsyslog优点：1、支持多线程2、基于tcp..
分类：
其他好文 时间：
2016-04-20 15:17:50
阅读次数：
329
上一篇我们把日志服务器搭建和配置讲解完成，这节讲rsyslog客户端配置。因为系统默认已经安装rsyslo就不在复数了。只讲配置。注：教程配置文件下载。在rsyslog.conf中配置，在文件末尾添加如下,全局远程提交路径：如果客户端所有日志都提交到一个服务器，可以把IP定义在全局变..
分类：
其他好文 时间：
2016-04-19 14:33:22
阅读次数：
415
Nginx中日志文件的格式在nginx.conf中定义，其默认格式如下: #vim /usr/local/nginx/conf/nginx.conf log_format access ‘$remote_addr – $remote_user [$time_local] “$request” ‘‘$ ...
分类：
其他好文 时间：
2016-04-18 15:36:45
阅读次数：
165
1、修改Nginx日志格式：log_formatjson‘$remote_addr-$remote_user[$time_local]"$request"‘
‘$status$body_bytes_sent"$http_referer"‘
‘"$http_user_agent""$http_x_forwarded_for"‘;
access_log/data/nginx_logs/access.logjson;2、Nginx日志切割（shell脚本，略）3、安装G..
分类：
其他好文 时间：
2016-04-16 19:42:06
阅读次数：
340
部署环境： centos 6.X jdk 1.7 elasticsearch 2.3.1 https://www.elastic.co/downloads/elasticsearch logstash 2.3.1 https://www.elastic.co/downloads/logstash K ...
分类：
其他好文 时间：
2016-04-15 13:42:24
阅读次数：
688
exportJAVACMD=`whichjava`
分类：
编程语言 时间：
2016-04-14 19:34:59
阅读次数：
857
一下是我在单位对haproxy进行日志分析的一整套流程我们一直都是处在维护es集群的配置，并没有把一整套流程包括收集端的代码，全部自己搞定一次，而且线上收集日志的时候我们一般都用的logstash，但是业界很多人都说logstash不管是性能上还有稳定性上都不是很好，logstash的优点..
分类：
其他好文 时间：
2016-04-14 18:11:11
阅读次数：
1629
1.背景 elasticsearch集群默认配置启动ok，logstash连接向里面发数据ok。 2.出现问题 修改elasticsearch.yml中的cluster.name，改为 esabc 然后elasticsearch和logstash都重启，logstash连接不上elasticsear ...
分类：
其他好文 时间：
2016-04-14 09:29:43
阅读次数：
235
