网站联盟广告上的数据挖掘在网站联盟广告上存在大量数据,再加上联盟网站上用户的访问信息,每天都会产生海量的数据。通过之文章中提及的网站日志分析,我们可以掌握到很多与网站和访客相关的信息。再进一步分析访客在网站主和访客点击广告的后续行为,我们可以对访客的属性,包括年龄、性别、学历、收入、籍贯和兴趣爱好等...
分类:
其他好文 时间:
2014-11-03 19:13:32
阅读次数:
217
后面为了引入Dubbo RPC框架(用spring配置),先把spring 引入jstorm中,请先了解一下jsorm多线程方面的文档:http://storm.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.html .
A worker process exe...
分类:
编程语言 时间:
2014-10-30 22:43:42
阅读次数:
517
本地模式启动的.
package com.doctor.kafkajstrom;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.TimeUnit;
import org.apache.commons.lang.RandomStringUtils;
import org.slf4j.Log...
分类:
编程语言 时间:
2014-10-30 22:37:43
阅读次数:
465
安装logstash+kibana+elasticsearch+redis搭建集中式日志分析平台2014-01-16 19:40:57|分类:logstash|标签:logstashkinanaelasticsearchredis日志分析|举报|字号订阅本文是参考logstash官方文档实践的笔记,...
分类:
其他好文 时间:
2014-10-29 14:45:10
阅读次数:
270
日志分析平台Sm@rtLogAnalysis是为用户提供通过图形界面快捷查找历史日志,高效定位问题的功能。提供了平台日志查询、业务日志查询、日志备份、日志系统节点管理等功能,可以帮助用户准确配置和查询日志信息。
日志分析平台分两部分,一部分是日志采集模块即LogApp,负责收集ESB平台日志和业务日志,另一部分是日志分析模块,负责分类分析日志、备份日志等功能。
产品...
分类:
其他好文 时间:
2014-10-27 17:40:02
阅读次数:
200
package com.doctor.logbackextend;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;
import kafka.consumer.Consumer;
import kafka.consumer.ConsumerCo...
分类:
Web程序 时间:
2014-10-26 09:07:44
阅读次数:
383
AWStats是在Sourceforge上发展很快的一个基于Perl的WEB日志分析工具。它可以统计您站点的如下信息:访问量(UV),访问次数,页面浏览量(PV),点击数,数据流量等精确到每月、每日、每小时的数据访问者国家访问者IPRobots/Spiders的统计访客持续时间对不同Filestype的统计信..
分类:
其他好文 时间:
2014-10-22 16:05:48
阅读次数:
228
本程序主要实现网页挂马关键字检测,原理是这样的,通过定时分析用户访问的IIS web日志,对日志的里的URL进行访问,然后检索是否包含相关的关键字,有就入库,这只是go实现自动检索及入库,可以加个前端,实现加关...
分类:
Web程序 时间:
2014-10-22 13:01:28
阅读次数:
458
Log Parser(微软网站下载)是微软公司出品的日志分析工具,它功能强大,使用简单,可以分析基于文本的日志文件、XML 文件、CSV(逗号分隔符)文件,以及操作系统的事件日志、注册表、文件系统、Active Directory。它可以像使用 SQL 语句一样查询分析这些数据,甚至可以把分析结果以...
分类:
其他好文 时间:
2014-10-21 15:14:00
阅读次数:
325
每天把日志分析结果通过邮件发送给boss和研发,是不是省去自己写脚本的时间了?下面是goaccess安装步骤,我也是从其他地方抓取的,安装很简单,网上一搜一大把安装GoAccessRedHat或centos,使用yum:yuminstallgoaccessGoAccess有两种使用方法,一种是直接在控制台显示和操作。..
分类:
数据库 时间:
2014-10-20 17:32:15
阅读次数:
343