日志分析(五)日志处理

时间：2015-05-29 21:42:20 阅读：205 评论：0 收藏：0 [点我收藏+]

标签：

1.http请求参数分离

请求url一般携带了一些业务参数，因为业务将token拼接到url的参数中，单独将其解析出来，可以用于用户行为分析，因此，基于logstash的kv进行处理。

kv {

source => "request"

field_split => "?"

}

2.垃圾日志清理

静态页面里面包含了大量的js，css，png等资源文件，做日志分析的时候，并不关心这些资源文件的日志。因此，需要在存储到ES之前，在filter中进行过滤。避免垃圾数据积压存储空间.

if ([request] =~ "^.+(\.js|\.jpg|\.css|\.map|\.gif|\.ico|\.eot|\.svg|\.ttf|\.woff|\.swf)\?*.*") {
drop{}
}
if([request] =~ "^(?!.*?welcomePage.*(1080_1920|1242_2208|640_1136|640_960|720_1280|750_1334)\.(png|jpg)).*$") {
drop{}

}

日志分析(五)日志处理

标签：

原文地址：http://www.cnblogs.com/asfeixue/p/kv.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行