#!/usr/bin/python#-*-coding:utf-8-*-#authkxrby2019.9.12importreimportosimporttimeimportcx_Oracleprint‘############CBOSS测试环境日志提取脚本##########‘print‘##########仅支持当天的流水和网状网日志#########‘print‘####提取成功将在当前目录生成保存日志的文件#####..
分类：
编程语言 时间：
2016-10-05 01:12:51
阅读次数：
245
Web绘图——mxGraph项目实战(精华篇)需求 由于小论文实验需求，需要实现根据用户日志提取出行为序列，然后根据行为序列生成有向图的形式，并且连接相邻动作的弧上标有执行此次相邻动作的频次...
分类：
Web程序 时间：
2016-09-03 18:26:34
阅读次数：
3137
上一篇说道，在从日志提取出SQL语句的时候，碰到了一句SQL跨了N行无法提取。后来在网上搜了两句shell: sed -n '/^INSERT /,/;/p' log.sql > log_insert.sql sed -n '/^UPDATE /,/;/p' log.sql > log_update ...
分类：
数据库 时间：
2016-08-24 11:06:29
阅读次数：
367
Web绘图——mxGraph项目实战(精华篇)需求 由于小论文实验需求，需要实现根据用户日志提取出行为序列，然后根据行为序列生成有向图的形式，并且连接相邻动作的弧上标有执行此次相邻动作的频次，每个动作另附有一个数据集，这样有向图加数据集就构成了用户交互图。为此，自己想到了mxGraph，遂决定学习之。起步 此次项目实战是受阅读参考文献[1]启发，并在其图形布局实例基础上进行。其...
分类：
Web程序 时间：
2016-06-14 19:39:07
阅读次数：
299
1：Web日志分析系统概述
2：需求分析：日志提取预处理，KPI指标设计，存储与展现
3：算法模型：Hadoop并行算法
4：架构设计：用Maven构建hadoop项目
5：程序实现：MR2V程序实现
6：结果可视化
一：Web日志分析系统概述
Web日志由Web]服务器产生，可能是Nginx，Apache，Tomcat等，从Web日志中我们可以提取到很多有用的信息，比如说网...
分类：
Web程序 时间：
2016-05-27 02:04:17
阅读次数：
226
提示：根据web日志或者或者网络连接数，监控当某个IP并发连接数或者短时内PV达到100即调用防火墙命令封掉对应的IP，监控频率每隔3分钟防火墙命令为：iptables-AINPUT-s10.0.1.10-jDROP思路：1.分析日志，提取IP和PV数2.while语句，读取提取到的IP和PV数，并实现3分钟循环一次3...
分类：
系统相关 时间：
2016-05-16 11:11:40
阅读次数：
386
前提安装postfix#!/bin/shelllog=/home/DBdata/DB2.err#原来error记录数numA=`cat/tmp/mysqlerrorNB.log`#当前error数numB=`cat$log|grep"ERROR"|wc-l`#增加的error条目numC=$(($numB-$numA))#从日志中过滤出error日志errTotal=/tmp/mysqlerrTotal.log#对新增的error日志提取，..
分类：
数据库 时间：
2016-05-03 12:52:29
阅读次数：
229
一：学习提取日志工单1、首先记录用户日志文件路径(1)/nas/nas_log/logs/下文日志的原始数据（2）/nas/nas_log/exchange/目录下含有6-7各月以日期命名的日志目录/每个月目录下含有以IP命名的日志目录（其中以WAP,clt,sdk,较为重要）/每个IP日志目录下含有本月30天的所有日志信..
分类：
其他好文 时间：
2015-06-26 13:08:31
阅读次数：
140
前面4篇文章介绍了如何编写一个简单的日志提取程序，读取HDFS share/logs目录下的所有csv日志文件，然后提取数据后，最终输出到share/output目录下。本篇停留一下，梳理一下主要过程，然后提出新的改进目标。首先声明一下，所有的代码都是maven工程的，没有使用任何IDE。 这是我一贯的编程风格，用Emacs + JDEE开发。需要使用IDE的只需要学习如何在IDE中使用mave...
分类：
其他好文 时间：
2014-09-27 22:45:50
阅读次数：
256
1、正则表达式分析日志提取信息字符匹配：普通字符：大多数字符和字母一般都会和自身匹配如正则表达式test会和字符串‘test’完成匹配元字符：.^$*+?{}[]\|()re模块findall用法：用法1：s=‘helloworld‘p=‘hello‘re.findall(p,s)用法2：s=‘helloworld‘r=re.compile(r‘hello‘)r.f..
分类：
编程语言 时间：
2014-07-21 19:35:02
阅读次数：
257
