还是因为学习kibana,才开始了解node。Node是一种基于事件驱动的异步系统,基于Chrome的引擎V8。Node中由于大量的使用模块,因此出现了很多开源模块,有点像java社区的样子。笔记源码参考:我的github下面是一边看书,一边整理的小知识点:Node基础1 node是基于事件驱动的异...
分类:
Web程序 时间:
2015-07-28 22:49:55
阅读次数:
169
logstash 配置使用redis做中间broker节点无法连接
分类:
其他好文 时间:
2015-07-26 22:27:36
阅读次数:
306
使用Nginx的网站可能会遇到访问流量异常、被友情检测、程序出现Bug等各种突然情况,这时大家的反应想必都是第一时间分析日志,然后发现日志有几十GB之多,又需要按照时间、错误类型或者关键字段检索信息时会不会有种醍醐灌顶、菊花一紧的错觉。文中介绍的方法不管是GoAccess还是sed/awk虽然可以解决一时的问题但未必能够治本,也许`ELK(Logstash+ElasticSearch+Kibana)`对我们大多数人来...
分类:
数据库 时间:
2015-07-17 00:28:10
阅读次数:
1331
e:elasticsearchl:logstashk:kibanalogstash快速入门:http://www.2cto.com/os/201411/352015.htmlelk中文指南 :http://kibana.logstash.es/content/logstash/index.html
分类:
其他好文 时间:
2015-07-15 12:53:15
阅读次数:
156
废话不多说,直接进入主题。总体架构是客户端统一用rsyslog日志收集,--->fluentd服务器上--->mongondb集群--->Elasticsearch+Kibana服务器上展示。rsyslog安装和配置1、更改history格式在/etc/profile.d目录下创建history.sh脚本,内容如下HISTTIMEFORMAT=‘%F%T‘HIST..
分类:
其他好文 时间:
2015-07-14 06:21:38
阅读次数:
270
最近涌现出各种各样能帮助你理解日志的新工具,有类似 Scribe、Logstash 这样的开源项目,也有类似 Splunk 的预付费工具,还有托管服务如 SumoLogic 和 PaperTrail。这些工具的共同点是对日志数据进行清洗,在大量日志中提取一些更有价值的文件。但有一件事这些工具却爱莫能...
分类:
其他好文 时间:
2015-07-09 19:32:42
阅读次数:
154
最近涌现出各种各样能帮助你理解日志的新工具,有类似 Scribe、Logstash 这样的开源项目,也有类似 Splunk 的预付费工具,还有托管服务如 SumoLogic 和 PaperTrail。这些工具的共同点是对日志数据进行清洗,在大量...
分类:
其他好文 时间:
2015-07-09 06:23:34
阅读次数:
122
最近在做日志分析这块儿,要使用 Logstash+Elasticsearch+Kibana 实现日志的导入、过滤及可视化管理,官方文档写的不够详细,网上的文章大多要么是针对Linux系统的用法,要么就是抄袭别人的配置大都没法运行。费了很大劲才搞定了这仨东西,写一篇用法心得,废话不多说,进入主题。
首先,你的电脑上要装Java 的JDK环境,要使用 Logstash+Elastic...
介绍
这套系统,logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中。kibana负责查询elasticsearch并在web中展示。
logstash收集进程收获日志文件内容后,先输出到redis中缓存,另一logstash处理进程从redis中读出并转存到elasticsearch中,以解决读快写慢速度不一致问题。...
分类:
其他好文 时间:
2015-06-30 12:55:52
阅读次数:
204