1、创建日志目录nginx的默认日志目录所在硬盘空间可能比较小，所以根据硬盘的空间状况创建日志目录例如：mkdir /backup/nginx_logs2、修改nginx配置文件配置 nginx 的日志目录，指向你刚创建的目录在配置文件中写：根据时间情况写在server或者http或者 locati...
分类：
其他好文 时间：
2015-09-08 20:11:38
阅读次数：
158
本文描述了一个简单的case，讲解怎么在logstash进行配置，将多个日志数据流，通过redis缓存接收，再导出到elasticsearch多个索引，即一类日志数据对应一类索引。 假设有两组日志数据由日志端写入redis缓存，两组日...
分类：
其他好文 时间：
2015-09-05 20:54:54
阅读次数：
307
日志对于统计排错来说非常有利的。本文总结了nginx日志相关的配置如access_log、log_format、open_log_file_cache、log_not_found、log_subrequest、rewrite_log、error_log。nginx有一个非常灵活的日志记录模式。每个级...
分类：
其他好文 时间：
2015-09-04 22:22:20
阅读次数：
264
工作中，需要把用户执行的每一个命令都记录下来，并发送到日志服务器的需求，为此我做了一个简单的解决方案。这个方案会在每个用户退出登录 时把用户所执行的每一个命令都发送给日志守护进程rsyslogd,你也可通过配置“/etc/rsyslog.conf”进一步将日志发送给日志服务器第一种方法1234567...
分类：
系统相关 时间：
2015-09-04 19:54:00
阅读次数：
359
1、介绍GoAccess 是一个用来统计 Apache Web 服务器的访问日志的工具，可即时生成统计报表，速度非常快查看的统计信息有：统计概况，流量消耗等访客排名动态Web请求静态web请求，如图片、样式表、脚本等。来路域名404 错误操作系统浏览器和搜索引擎主机、DNS和IP地址HTTP 响应代...
分类：
数据库 时间：
2015-09-04 07:16:10
阅读次数：
361
ubuntu安装Nginx之后的文件结构大致为： 所有的配置文件都在/etc/nginx下，并且每个虚拟主机已经安排在了/etc/nginx/sites-available下 启动程序文件在/usr/sbin/nginx 日志放在了/var/log/nginx中，分别是access.lo...
分类：
系统相关 时间：
2015-08-30 22:45:30
阅读次数：
173
最近在项目中使用LogStash做日志的采集和过滤，感觉LogStash还是很强大的。input { file{ path => "/XXX/syslog.txt" start_position => beginning codec => mu...
分类：
其他好文 时间：
2015-08-27 10:47:03
阅读次数：
305
在很多时候，我们会非常关注网站的访问量，比如网站的日PV是多少、网站某个功能上线之后点击量是多少，像这些东西都是需要从web容器中的访问日志统计出来的，下面我们看一下如何在nginx中统计网站的访问信息 1、设...
分类：
其他好文 时间：
2015-08-26 18:07:10
阅读次数：
273
利用了pyinotify库，我用的是这里的这个，https://github.com/seb-m/pyinotify 其实网上yum上也有pyinotify库可以安装。 写入数据库是pymysql这里做一下记录， 先务pyinotify实现一个tail -f 的功能： #!/opt...
分类：
数据库 时间：
2015-08-26 15:55:33
阅读次数：
361
nginxawk‘{print$1}‘urlogfile|sort|uniq-c|sort-nr-k1|head-n10
awk‘{print$1}‘/usr/local/nginx/logs/localhost.access.log|sort|uniq-c|sort-nr-k1|head-n10Apachecd/var/log/httpd/&&cataccess_log|awk‘{print$1}‘|uniq-c|sort-rn-k1|head-n10说明：awk‘{print$1..
分类：
Web程序 时间：
2015-08-26 12:23:16
阅读次数：
177
