收集web日志的目的 Web日志挖掘是指采用数据挖掘技术，对站点用户访问Web服务器过程中产生的日志数据进行分析处理，从而发现Web用户的访问模式和兴趣爱好等，这些信息对站点建设潜在有用的可理解的未知信息和知识，用于分析站点的被访问情况，辅助站点管理和决策支持等。 1、以改进web站点设计为目标，通过挖掘用户聚类和用户的频繁访问路径，修改站点的页面之间的链接关系，以适应用户的访问习惯，并且同时...
分类：
Web程序 时间：
2015-03-05 19:33:07
阅读次数：
171
收集web日志的目的Web日志挖掘是指采用数据挖掘技术，对站点用户访问Web服务器过程中产生的日志数据进行分析处理，从而发现Web用户的访问模式和兴趣爱好等，这些信息对站点建设潜在有用的可理解的未知信息和知识，用于分析站点的被访问情况，辅助站点管理和决策支持等。1、以改..
分类：
Web程序 时间：
2015-03-05 17:16:15
阅读次数：
134
收集web日志的目的Web日志挖掘是指采用数据挖掘技术，对站点用户访问Web服务器过程中产生的日志数据进行分析处理，从而发现Web用户的访问模式和兴趣爱好等，这些信息对站点建设潜在有用的可理解的未知信息和知识，用于分析站点的被访问情况，辅助站点管理和决策支持等。1、以改进web站点设计为目标，通过挖...
分类：
Web程序 时间：
2015-03-05 16:48:27
阅读次数：
175
软件清单：
tomcat7
awstats
步骤：
大致分为：
1 配置tomcat7 TOMCAT_HOME/conf/web.xml使其支持cgi
2 下载并配置awstats
我主要是参考 http://my.oschina.net/fhck/blog/85773和
配置完成的。
配置过程中出现了问题。按照http://www.fkblog.org/blog746
提供的方...
分类：
Web程序 时间：
2015-02-05 20:33:04
阅读次数：
216
1.概要 到这一步，若是按照前面到文章一步走来，不出意外，我想hadoop平台环境应该搭建OK了。下面我以自己工作中实际的案例来梳理一下整个流程。同时参考一些其他的文章来分析，由于很多网站的日志KPI都大同小异，故有些指标直接在文中赘述了。2.流程背景前言目录日志分析概述需求分析源码2.1 背景 ....
分类：
Web程序 时间：
2015-02-04 18:19:10
阅读次数：
572
很多新手站长对于如何分析网站日志文件一筹莫展，打开.log日志文件看到的只有密密麻麻的数字和字母，细看能看出是什么含义，但是想要系统科学的去进行分析太耗时间，这时一般只能借助于第三方日志分析软件，而下面介绍一种不需要下载日志分析软件即可很有效率地分析log文件的方法：
分类：
Web程序 时间：
2015-01-19 10:45:03
阅读次数：
163
1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。.....
分类：
其他好文 时间：
2015-01-15 18:00:34
阅读次数：
377
1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。.....
分类：
其他好文 时间：
2014-12-23 22:26:38
阅读次数：
169
HDInsight-Hadoop实战（一）网站日志分析
简介
在此示例中，你将使用分析网站日志文件的 HDInsight 查询来深入了解客户使用网站的方式。借助此分析，你可查看外部网站一天内对该网站的访问频率以及用户体验的网站错误总结。...
分类：
Web程序 时间：
2014-12-15 19:05:46
阅读次数：
508
Awstats是一个免费非常简洁而且强大有个性的网站日志分析工具，昨天领导问最近网站访问情况，虽然用了各种命令把日志统计出来了，但是非常麻烦，以前只是在apache上安装过awstats，没有在nginx上安装过，为了更省事，今天只好在nginx上安装awstats了安装awstats前要准备php环境..
分类：
其他好文 时间：
2014-12-03 19:31:51
阅读次数：
98
