一、项目背景与数据情况1.1 项目来源 本次要实践的数据日志来源于国内某知名的技术学习论坛,该论坛由某培训学校主办,汇聚了众多技术学习者,每天都有人发帖、回帖,如图1所示。图1 项目来源网站-技术学习论坛 本次实践的目的就在于通过对该技术论坛的apache common日志进行分析,计算该论坛的.....
分类:
Web程序 时间:
2015-04-23 01:59:45
阅读次数:
216
好久没有更新博客了,写了很早的一个脚本存下档,一个用于分析用户登录日志 /etc/auth.log的脚本,可以分析
成功、失败次数,以及来自的IP地址和登录失败的用户名,可以用于监控是否有暴力攻击,多了就可以用于收集字典,用来避免密码过于简单的问题
#/usr/bin/env python3.4
#Anyalize the /etc/auth.log files to get
# ...
分类:
编程语言 时间:
2015-04-22 20:39:09
阅读次数:
200
#!/bin/bash
echo$(date"+%F%T")
warns=$(/opt/splunk/bin/splunklistlicenser-messages-authusername:password|greplicense_window-A4|grepWARN|wc-l)
if[$warns-gt3];then
installflag=1
/opt/splunk/bin/splunkstop
rpm-esplunk-6.1.3-220630
ls/opt/splunk/|egrep-v"etc|va..
分类:
其他好文 时间:
2015-04-21 18:37:18
阅读次数:
3797
如果你是一个站长,可能你也大概知道网站日志文件,也清楚网站原始访问日志文件中每一行记录到底记录了一些什么东西,但是如果叫你直接看这些杂乱的日志,相信你会很抓狂的,所以我们需要找一款专业又好上手的网站日志分析工具来辅助我们日常的原始日志分析工作。
分类:
Web程序 时间:
2015-04-20 18:26:17
阅读次数:
203
在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单,所以就采用Memcache作为计数器,结合MySQL就...
分类:
其他好文 时间:
2015-04-20 00:15:34
阅读次数:
115
centos6.4安装piwikyum安装lampyum-yinstallhttpdphpphp-mysqlhttpd-manualmod_sslmod_perlmod_auth_mysqlmysql-connector-odbcmysql-devellibdbi-dbd-mysqlphp-gdphp-xmlphp-mbstringphp-ldapphp-xmlrpcphp-pearmysql-serveryumcleanall关闭防火墙,开启服务/etc/init.d/iptab..
分类:
Web程序 时间:
2015-04-16 20:07:02
阅读次数:
217
最近做日志分析,发现logstash较符合自己的需求,Logstash:做系统log收集,转载的工具。同时集成各类日志插件,对日志查询和分析的效率有很大的帮助。一般使用shipper作为log收集、indexer作为log转载。Logstashshipper收集log并将log转发给redis存储Logstashindexer从redis中读..
分类:
其他好文 时间:
2015-04-09 17:52:55
阅读次数:
524
最近在做一个VSS日志分析工具,使用C#进行开发,在完成了所有功能后,发现,从服务器下载VSS日志非常耗时,因为此,导致工具使用体验不好,所以,准备增加一个进度条。鉴于C#不经常使用,一下子搞个进度条貌似比较难,而且其他的开发任务也在一并进行,所以,昨天一天,并没有多大的进展。今天,是周末,正好可以...
转自:http://blog.csdn.net/totogo2010/article/details/39892467要分析崩溃日志,首先需要保留发布时的编译出来的.xcarchive文件。这个文件包含了.DSYM文件。我一般的做法是,发布成功后,把这个文件.xcarchive直接提交到代码版本库对...
分类:
其他好文 时间:
2015-04-07 17:15:03
阅读次数:
99
1.Nginx安装目录:/usr/local/nginxNginx配置文件存放目录:/usr/local/nginx/conf/nginx.confNginx日志目录:/usr/local/nginx/logsAwstats安装目录:/usr/local/awstatsAwstats配置文件存放目录:/etc/awstats日志切割脚本存放目录:/usr/local/nginx/nginx_log.sh2.Nginx日..
分类:
其他好文 时间:
2015-04-03 19:40:13
阅读次数:
215