1.确认apache已经安装：netstat-utpln|grep802.下载与解压：lftpftp.linuxfan.cntarzxvfawstats-7.3.tar.gzmvawstats-7.3/usr/local/awstats3.配置awstats：cd/usr/local/awstats/toolschmod+x./*./awstats_configure.pl#####开始配置###a.当提示输入httpd.conf时输入并回车继..
分类：
其他好文 时间：
2016-08-25 21:56:14
阅读次数：
186
第一章实验（二）：awstats日志分析系统部署1.确认apache已经安装：netstat-utpln|grep802.下载与解压：lftpftp.linuxfan.cntarzxvfawstats-7.3.tar.gzmvawstats-7.3/usr/local/awstats3.配置awstats：cd/usr/local/awstats/toolschmod+x./*./awstats_configure.pl#####开始配..
分类：
其他好文 时间：
2016-08-24 17:48:31
阅读次数：
214
背景 日志，角色不同，出发点和认识的角度也不同 RD使用日志，首先是为了调试程序，当程序上线后，日志是为了记录err和trace。 PM可以通过日志分析，可以得出业务指标相关的统计情况。 日志的作用大致有三：异常、trace、统计。 日志使用的痛点 使用日志时大部分的场景或特点如下： 1.日志为纯文 ...
分类：
其他好文 时间：
2016-08-17 13:56:16
阅读次数：
150
大数据已经成为一种发展趋势，得到越来越多的公司参与。最近从事大数据系统设计开发和推荐引擎方面的工作，分几篇文章两个系列把自己的心得记录一下， 和大家分享一下大数据方面的经验。 整个平台包括监控系统、日志分析系统、推荐系统。按数据业务步骤划分，分为数据采集、清洗、存储、分析和服务。整个数据流程如下图： ...
分类：
其他好文 时间：
2016-06-26 21:01:35
阅读次数：
250
系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。日志的作用不言而喻，但对于数量庞大且分布在多台机器上的日志，查看就显得特别麻烦了。所以，对于运..
分类：
系统相关 时间：
2016-06-21 14:07:54
阅读次数：
387
1：Web日志分析系统概述
2：需求分析：日志提取预处理，KPI指标设计，存储与展现
3：算法模型：Hadoop并行算法
4：架构设计：用Maven构建hadoop项目
5：程序实现：MR2V程序实现
6：结果可视化
一：Web日志分析系统概述
Web日志由Web]服务器产生，可能是Nginx，Apache，Tomcat等，从Web日志中我们可以提取到很多有用的信息，比如说网...
分类：
Web程序 时间：
2016-05-27 02:04:17
阅读次数：
226
ELK就是一套完整的日志分析系统 ELK=Logstash+Elasticsearch+Kibana 统一官网https://www.elastic.co/products ELK模块说明 Logstash 作用：用于处理传入的日志，负责收集、过滤和写出日志 Logstash分为三个组件input， ...
分类：
其他好文 时间：
2016-04-29 21:57:50
阅读次数：
215
Awstats是使用Perl语言开发的一款开源日志分析系统，他不仅可以用来分析apache网站服务的访问日志，也可以用来分析samba，vsftpd，iis等服务的日志信息一．安装awstats软件包只需要将软件包解压到httpd服务器中的/usr/local/目录下即可tarzxfawstats-7.3mvawstats-7.3/usr/loca..
分类：
其他好文 时间：
2016-04-04 21:17:03
阅读次数：
508
在日常的运维管理活动，日志非常的重要，当发现error时可以从日志了解报错并及时解决。日志分为系统日志,应用日志,和安全日志，经常的分析日志可以了解服务器的硬件状况，性能以及安全，从而采取预防措施及时纠正任务。通常情况下，日志被分散到不同的存储设备上，而企业内部的..
分类：
其他好文 时间：
2016-03-31 19:05:17
阅读次数：
482
前提：处理大数据日志收集分析，随着搜索集群的快速膨胀，大量日志处理及情况反馈滞后带来一系列问题，亟需一个工具能快速分析定位集群中那种日志或那个机器出现了异常。运维的日志分析系统定制化较重，分析不够实时。故找一个RTF工具可以直接即上手。1、简介：logstash日志收..
分类：
其他好文 时间：
2016-03-04 16:35:09
阅读次数：
436
