部分一:Srorm 简介 1.1 Storm是实时的数据流,Hadoop是批量离线数据 起源背景 Twitter 开源的一个类似于Hadoop的实时数据处理框架 Storm是由Nathan Marz 在BackType公司【做社交数据分析,数据量大】工作中实现的,这家公司后来被Twitter收购。 ...
分类:
其他好文 时间:
2019-01-12 21:53:03
阅读次数:
225
一、介绍 ELK是三款开源软件的缩写,即:ElasticSearch + Logstash + Kibana。这三个工具组合形成了一套实用、易用的监控架构,可抓取系统日志、apache日志、nginx日志、mysql日志等多种日志类型,目前很多公司用它来搭建可视化的集中式日志分析平台。Elastic ...
分类:
其他好文 时间:
2018-11-30 20:12:41
阅读次数:
244
1.如何过滤出已知当前目录下linzhongniao中的所有一级目录(提示:不包含linzhongniao目录下面目录的子目录及隐藏目录,即只能是一级目录)创建模拟数据:[root@linzhongniao~]#mkdirlinzhongniao[root@linzhongniao~]#cdlinzhongniao[root@linzhongniaolinzhongniao]#ls[root@li
分类:
系统相关 时间:
2018-10-16 18:45:57
阅读次数:
190
第十三章——日志管理 一.日志管理简介 1.日志服务: 2.常见日志的作用: 二. rsyslogd日志服务 1.日志文件格式: 2./etc/rsyslog.conf配置文件: 三.日志轮替 1.日志文件的命名规则: 2.logrotate配置文件: 3.把apache日志加入轮替: 4.logr ...
分类:
系统相关 时间:
2018-09-13 10:24:57
阅读次数:
182
1.系统简介Sawmill适用于Unix/Linux和Windows等多种平台,支持900种日志格式,集中式且跨平台的日志报表管理系统,能集中搜集日志,并产生中文报表(包含体简体及繁体中文),简约的操作界面让使用者能直觉地透过简单的点击操作,快速分析并定制报表。透过Sawmill的分析统计具有如下功能:?操作系统:账号的登入与登出、各种服务状态、告警信息的排行列举;?FTP服务:用户登入登出、访问
分类:
其他好文 时间:
2018-09-06 16:23:44
阅读次数:
950
awstats简介awstats是免费的一个非常强大的日志分析工具的Apache日志文件。从apache分析日志后,它以易于理解的图形格式显示它们。awstats是高级Web统计的缩写,它可以在命令行界面或CGI上运行。功能它可以统计您站点的如下信息:一:访问量,访问次数,页面浏览量,点击数,数据流量等二:精确到每月、每日、每小时的数据三:访问者国家四:访问者IP五:Robots/Spiders的
分类:
其他好文 时间:
2018-08-07 18:55:37
阅读次数:
192
为什么要进行日志分割?随着网站的访问量越来越大,web服务器产生的日志文件也会越来越大,如果不对其进行分割管理,单个日志文件会变得异常庞大,后期不利于对日志进行综合分析、监控等。另外,当服务器遇到故障时,运维人员就要打开日志文件进行分析,打开的过程必然会消耗很长时间,也势必会增加处理故障的时间。因此管理好海量的日志文件对管理网站是有重大意义的。以下介绍两种常见的日志分割方法:一.Apache自带的
分类:
Web程序 时间:
2018-06-17 14:23:24
阅读次数:
272
一、Apache日志分割随着网站的访问量越来越大,默认情况下Apache服务器产生的单个日志文件也会越来越大,如果不对日志进行分割,那么日志文件占用磁盘空间很大的话势必会将整个日志文件删除,这样会丢失很多对网站比较宝贵的信息,而这些日志可以用来进行访问分析、网络安全监察、网络运行状况监控等。因此管理好这些海量的日志对网站的意义重大,我们会将Apache的日志按每天的日期进行自动分割。1、Apach
分类:
Web程序 时间:
2018-06-08 11:56:35
阅读次数:
240
Apache日志分割随着网站的访问量越来越大,默认情况下Apache服务器产生的单个日志文件也会越来越大,如果不采用日志分割,当日志文件不断增大时,当占用太大的磁盘空间时将会被系统删除,而且随着日志文件的增大,对于管理员对Apache服务器进行访问分析、网络安全监察、网络运行状况监控等操作带来较大难度,因此管理这些海量日志对网站的意义重大。实验描述:完成对Apache的日志分割本实验采用Apach
分类:
Web程序 时间:
2018-06-07 17:06:03
阅读次数:
278