功能特性 Scrapyd 服务器集群监控和交互 支持通过分组和过滤选中特定服务器节点 一次点击,批量执行 Scrapy 日志分析 统计信息展示 爬虫进度可视化 关键日志分类 支持所有 Scrapyd API Deploy project, Run Spider, Stop job List proj ...
分类:
Web程序 时间:
2018-10-05 15:12:17
阅读次数:
360
1.你可以把SOA理解为一种概念,总的来说就是面向服务的设计。 这个概念简单来理解就是把之前所谓的模块划分做成服务。比如之前的日志模块,需要引用你的dll,调用你的写日志方法来写日志。这样当有多个系统时,就有一些麻烦:比如要做日志分析/统计的时候,可能每个系统都自己写一个日志分析/统计的工具。比如日 ...
分类:
其他好文 时间:
2018-08-07 16:12:46
阅读次数:
195
******************理论部分*****************前言:在数据为王的时代,日志管理是一个绕不开的话题,相应的开源软件有不少,比如热门的三件套:Logstash、ElasticSearch、Kibana,虽然功能强大,但是配置复杂。相比较而言,rsyslog更容易快速上手。Rsyslog:rsyslog是一款自由..
分类:
数据库 时间:
2016-12-02 03:48:38
阅读次数:
334
pv一般都是统计指定页面的点击量,这里用首页来计算grep"/index.php"/var/log/nginx/access.log|wc-luv是统计指定页面上真是访问的用户,也就是说同一ip不管点击多少次都算一个uvgrep"/index.php"/var/log/nginx/access.log|awk‘{print$1}‘|sort|uniq|wc–l独立ip是统计不管用?.
分类:
其他好文 时间:
2015-09-24 19:47:36
阅读次数:
378
使用percona公司的pt-query-digest分析慢查询日志,分析、统计的结果的比较清晰...
分类:
数据库 时间:
2015-07-30 11:29:25
阅读次数:
189