网站联盟广告上的数据挖掘在网站联盟广告上存在大量数据，再加上联盟网站上用户的访问信息，每天都会产生海量的数据。通过之文章中提及的网站日志分析，我们可以掌握到很多与网站和访客相关的信息。再进一步分析访客在网站主和访客点击广告的后续行为，我们可以对访客的属性，包括年龄、性别、学历、收入、籍贯和兴趣爱好等...
分类：
其他好文 时间：
2014-11-03 19:13:32
阅读次数：
217
GoAccess是一款开源的网站日志实时分析工具。
分类：
数据库 时间：
2014-10-01 11:41:01
阅读次数：
251
架构层面：
日志集中
所谓日志集中就是把程序的所有日志和异常信息的记录都汇总到一起，在只有一台服务器的时候我们记录本地文件问题也不是最大，但是在负载均衡环境下再记录本地日志的话就出现问题了。在想查看网站日志的时候到哪台机器去查都不知道，难道有100台机器就100台机器逐一远程连上去看？因此，把这些数据汇总在一起保存对于大型网站系统来说是很必要的，这样我们就可以直接进行查看...
分类：
其他好文 时间：
2014-09-19 15:42:36
阅读次数：
292
Linux Web服务器网站故障分析常用的命令 文章目录[隐藏]系统连接状态篇：网站日志分析篇1（Apache）：数据库篇系统Debug分析篇系统连接状态篇：1.查看TCP连接状态netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rnnetstat ...
分类：
Web程序 时间：
2014-09-04 16:22:39
阅读次数：
286
服务器IP地址：192.168.4.5服务器主机名：srv5.tarena.com1.在服务器端安装httpd软件包[root@ser5/]#yum-yinstallhttpd[root@ser5/]#servicehttpdstart[root@ser5/]#chkconfighttpdon2.在客户机端验证在浏览器中输入192.168.4.5如果显示欢迎页面表示服务器搭建成功3.部署网页文..
分类：
Web程序 时间：
2014-08-15 02:47:08
阅读次数：
266
其实像小编这样的，并非是专业的网站建设专业出身，所以很多东西其实都不知道，就好比一下的网站日记语法，你会认得多少呢（本文来自于e良师益友网）：#Software:MicrosoftInternetInformationServices6.0#Software：表示软件名称#Version:1.0#V...
分类：
Web程序 时间：
2014-08-05 18:18:49
阅读次数：
229
1.下载spark和运行 wget?http://apache.fayea.com/apache-mirror/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz 我这里下载的是1.0.0版,由于我们只是测试spark的用法所以不需要配置spark集群，只需把下好的文件...
分类：
Web程序 时间：
2014-07-21 10:21:45
阅读次数：
206
主机对网站优化的影响是显而易见的，一方面是体现在主机的性能好不好，会不会经常死机、访问速度快不快、打开一个网页需要多久、是不是支持对网站日志的读 写、支不支持ＵＲＬ重写操作；另一方面，体现在主机以往的履历，该主机上，其他网站是什么类型的，有没有包含被禁止的内容，出现在网站上，主机上被惩罚的 网站多不...
分类：
Web程序 时间：
2014-07-11 20:32:26
阅读次数：
168
有关python实现apahce网站日志分析的方法。应用到：shell与python数据交互、数据抓取，编码转换#coding:utf-8#!/usr/bin/python'''程序说明:apache access.log日志分析 分析访问网站IP 来源情况 日期:2014-01-06 17:01 ...
分类：
编程语言 时间：
2014-07-08 22:47:52
阅读次数：
434
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下.....
分类：
其他好文 时间：
2014-06-16 13:22:07
阅读次数：
309
