1 日志分为三种格式statement 基于语句的row 基于行的mixed 复合的区别：基于语句的 简单,精悍，服务器会将数据修改事件以SQL语句的形式写入二进制，内容比较容易理解语句行的 对要修改哪些数据 提供了跟精细的控制，但是不容易理解，出现这种格式的原因在于，有些语句可能不够明确，在主服务...
分类：
数据库 时间：
2014-11-17 00:18:23
阅读次数：
271
2014年10月份，SANS发布了2014年度的《日志管理调查报告》。在今年，对于日志分析/安全分析的报告分为了两个，一个是延续了2013年的安全分析（SecurityAnalytics）的调研报告，另一个则是重新续上了2012年的日志管理（LogManagement）的调研报告。在2013年，两个调研主题合并到..
分类：
其他好文 时间：
2014-11-16 01:57:23
阅读次数：
229
#!/bin/bash#analysisthemysqlslowlog#Writenbylandline#IPadd=`grep`hostname`/etc/hosts|awk-F‘‘‘END{print$1}‘`IPadd=`/sbin/ifconfigeth0|grepBcast|awk-F:‘{print$2}‘|awk‘{print$1}‘`serverday=`date-d‘-1day‘+%Y-%m-%d`nowday=`date"+%y%m%d"`yestoday=`date-d‘-1day‘+%..
分类：
数据库 时间：
2014-11-15 06:44:39
阅读次数：
290
1.查看文件内容cat-n 显示行号2.分页显示moreEnter 显示下一行空格 显示下一页F 显示下一屏B 显示上一屏less/get 查询"get"字符串并高亮显示3.显示文件尾tail-f 不退出持续显示-n 显示文件最后n行4.显示头文件head-n 显示文件开始n行5.内容排序sort-...
分类：
系统相关 时间：
2014-11-14 20:54:32
阅读次数：
193
日志是一个非常广泛的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同，很难一概而论。下面以Web日志为例，进行相关的阐述。一.为什么要进行日志分析Web日志中包含了大量人们——主要是产品分析人员会感兴趣的信息，最简单的，我们可以从中获取网站每类页面的...
分类：
其他好文 时间：
2014-11-14 17:28:58
阅读次数：
119
一：起因
（1）学习IT的人，不论是写前端还是后台；有时候需要对数据进行清洗处理，例如，数据库日志分析。
（2）处理数据的大小由MB 到 GB，在到TB，最后导致处理的每一个文件都超过java jvm初始的heap
（3）对于单个文件比较小的，并行要求不高的数据，我们可以通过更改JVM的初始参数进行解决 —— 但是这并不是根本的解决办法。
（4）根本的解决办法是hadoop分布式系统下的M...
分类：
编程语言 时间：
2014-11-14 15:41:19
阅读次数：
201
很多PHP搭建的网站都在由apache转向了nginx。nginx的日志信息如何分析呢？推荐一款结果信息非常详尽的开源工具——Awstats ，它基于perl编写，它的介绍如下：AWStats is a free powerful and featureful tool that generates...
分类：
其他好文 时间：
2014-11-14 14:16:41
阅读次数：
166
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍...
分类：
其他好文 时间：
2014-11-05 10:55:34
阅读次数：
182
网站联盟广告上的数据挖掘在网站联盟广告上存在大量数据，再加上联盟网站上用户的访问信息，每天都会产生海量的数据。通过之文章中提及的网站日志分析，我们可以掌握到很多与网站和访客相关的信息。再进一步分析访客在网站主和访客点击广告的后续行为，我们可以对访客的属性，包括年龄、性别、学历、收入、籍贯和兴趣爱好等...
分类：
其他好文 时间：
2014-11-03 19:13:32
阅读次数：
217
