一、日志数据分析1.背景1.1 ***论坛日志,数据分为两部分组成,原来是一个大文件,是56GB;以后每天生成一个文件,大约是150-200MB之间;每行记录有5部分组成:1.访问ip;2.访问时间;3.访问资源;4.访问状态;5.本次流量1.2 日志格式是apache common日志格式;1.3...
分类:
其他好文 时间:
2015-07-19 13:19:52
阅读次数:
131
Apache log4j 提供了各种布局对象,每一个对象都可以根据各种布局格式记录数据。另外,也可以创建一个布局对象格式化测井数据中的特定应用的方法。所有的布局对象 - Appender对象收到 LoggingEvent 对象。布局对象检索来自LoggingEvent 的消息参数,并应用适当的 Ob...
分类:
其他好文 时间:
2015-07-14 06:06:10
阅读次数:
140
最近一直在考虑架构的事情,有一个问题依然困扰着我们这些做业务系统的,那就是日志以及日志统计。大概的问题如下: 我们有很多模块,日志格式虽然类似但都写在各自的服务器和目录中。 日志中有很多信息是key=>va...
分类:
数据库 时间:
2015-07-07 23:05:08
阅读次数:
518
MySQL主从配置配置准备将要配置的数据库进行主从同步,主从的服务器上都要有同一个数据库一、配置mysql主服务器[root@master~]#vim/etc/my.cnf....................................log-bin=mysql-bin<==打开日志格式....................................server-id=1<==..
分类:
数据库 时间:
2015-07-06 21:51:37
阅读次数:
235
今天遇到一个很奇怪的问题:不管在nginx.conf里面打开什么格式的日志格式,在www.conf里面都是不知道的日志格式。具体如下:nginx.confincludevhost/*.conf;log_formatmain‘$remote_addr-$remote_user[$time_local]‘‘"$request"$status$body_bytes_sent"$http_referer"‘‘"$http..
分类:
数据库 时间:
2015-06-30 18:47:58
阅读次数:
257
Nginx日志管理和切割一、日志分类Nginx日志主要分为两种,访问日志和错误日志。两种日志可以在http和server模块中配置,nginx有一个非常灵活的日志记录模式。每个级别的配置可以有各自独立的访问日志。日志格式通过log_format命令来定义1、访问日志访问日志主要记录客户端访问N..
分类:
其他好文 时间:
2015-06-27 00:07:21
阅读次数:
228
1. 启用 主库的 log_bin 日志,设置日志格式 binlog_format=MIXED,或者 binlog_format=ROW,
启用主库的 server-id
#主库上加
#只记录 ka_app 库的同步日志
binlog_do_db=ka_app
#不记录下列库的同步日志
binlog_ignore_db=mysql
binlog_ignore_db=performan...
分类:
数据库 时间:
2015-06-18 19:46:55
阅读次数:
178
haproxy配置文件解释haproxy配置文件各项解释####################全局配置信息###############################参数是进程级的,通常和操作系统(OS)相关#########globallog127.0.0.1local0info#日志格式chroot/var/haproxy#chroot运行的路径grouphaproxy#所属运行的用户user..
分类:
其他好文 时间:
2015-06-18 02:04:08
阅读次数:
258
在第一小节中经过几步一个访问日志组件已成型,但为了增加用户自定义能力我们还是要继续做点事,对于用户自定义的实现最经典的做法就是引入变量表示,例如定义%a表示远程主机IP、%A表示本机IP等等,然后在写入之前用相应逻辑把变量替换成相应的值写入日志。这节我们来实现日志格式的自定义支持。整个过程其实是先自定义变量组,再逐个把变量替换成相应值,最后把替换后的值写入文件。由于需要实现很多不同的变量,所以定义...
分类:
其他好文 时间:
2015-06-14 10:59:02
阅读次数:
221
#### 以下代码,若出现无法使用,请根据底下图片,更改参数。根据 apache 日志格式修改查看 apache 进程ps aux | grep httpd | grep -v grep | wc -l查看 80 端口的 tcp 连接netstat -tan | grep "ESTABLISHED"...
分类:
系统相关 时间:
2015-06-08 13:15:45
阅读次数:
178