《UNIX/Linux网络日志分析与流量监控》实验环境下载1.Ossim4.1虚拟机下载(适合2~4G内存的服务器运行)2.Ossim3.1虚拟机下载(适合1~2G内存的老款服务器运行)3.Ossim2.3.1虚拟机下载(适合1~2G内存的老款服务器运行)其他版本下载4.DEFT8.2ISO下载5.Solaris9forX86虚拟机下载6.ScoOp..
分类：
系统相关 时间：
2014-11-21 16:28:01
阅读次数：
213
1 日志分为三种格式statement 基于语句的row 基于行的mixed 复合的区别：基于语句的 简单,精悍，服务器会将数据修改事件以SQL语句的形式写入二进制，内容比较容易理解语句行的 对要修改哪些数据 提供了跟精细的控制，但是不容易理解，出现这种格式的原因在于，有些语句可能不够明确，在主服务...
分类：
数据库 时间：
2014-11-17 00:18:23
阅读次数：
271
2014年10月份，SANS发布了2014年度的《日志管理调查报告》。在今年，对于日志分析/安全分析的报告分为了两个，一个是延续了2013年的安全分析（SecurityAnalytics）的调研报告，另一个则是重新续上了2012年的日志管理（LogManagement）的调研报告。在2013年，两个调研主题合并到..
分类：
其他好文 时间：
2014-11-16 01:57:23
阅读次数：
229
#!/bin/bash#analysisthemysqlslowlog#Writenbylandline#IPadd=`grep`hostname`/etc/hosts|awk-F‘‘‘END{print$1}‘`IPadd=`/sbin/ifconfigeth0|grepBcast|awk-F:‘{print$2}‘|awk‘{print$1}‘`serverday=`date-d‘-1day‘+%Y-%m-%d`nowday=`date"+%y%m%d"`yestoday=`date-d‘-1day‘+%..
分类：
数据库 时间：
2014-11-15 06:44:39
阅读次数：
290
1.查看文件内容cat-n 显示行号2.分页显示moreEnter 显示下一行空格 显示下一页F 显示下一屏B 显示上一屏less/get 查询"get"字符串并高亮显示3.显示文件尾tail-f 不退出持续显示-n 显示文件最后n行4.显示头文件head-n 显示文件开始n行5.内容排序sort-...
分类：
系统相关 时间：
2014-11-14 20:54:32
阅读次数：
193
日志是一个非常广泛的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同，很难一概而论。下面以Web日志为例，进行相关的阐述。一.为什么要进行日志分析Web日志中包含了大量人们——主要是产品分析人员会感兴趣的信息，最简单的，我们可以从中获取网站每类页面的...
分类：
其他好文 时间：
2014-11-14 17:28:58
阅读次数：
119
一：起因
（1）学习IT的人，不论是写前端还是后台；有时候需要对数据进行清洗处理，例如，数据库日志分析。
（2）处理数据的大小由MB 到 GB，在到TB，最后导致处理的每一个文件都超过java jvm初始的heap
（3）对于单个文件比较小的，并行要求不高的数据，我们可以通过更改JVM的初始参数进行解决 —— 但是这并不是根本的解决办法。
（4）根本的解决办法是hadoop分布式系统下的M...
分类：
编程语言 时间：
2014-11-14 15:41:19
阅读次数：
201
很多PHP搭建的网站都在由apache转向了nginx。nginx的日志信息如何分析呢？推荐一款结果信息非常详尽的开源工具——Awstats ，它基于perl编写，它的介绍如下：AWStats is a free powerful and featureful tool that generates...
分类：
其他好文 时间：
2014-11-14 14:16:41
阅读次数：
166
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍...
分类：
其他好文 时间：
2014-11-05 10:55:34
阅读次数：
182
