前言系统一大，就会拆分成多个独立的进程，比如web+wcf/web api等，也就成了分布式系统。要看一个请求怎么从头到尾走的，就有些困难了，要是进行DEBUG、跟踪，就更加麻烦了，困难程度要视进程多少而定，越多越复杂。分布式日志收集系统就登场了。今天介绍一款全开源日志收集、展示系统 - logst...
分类：
其他好文 时间：
2014-10-23 01:15:25
阅读次数：
237
flume是一个实时消息收集系统，它定义了多种的source、channel、sink，可以根据实际情况选择。Flume下载及文档：http://flume.apache.org/Kafkakafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的..
分类：
Web程序 时间：
2014-10-22 18:36:34
阅读次数：
338
http://blog.csdn.net/hijk139/article/details/8308224业务系统需要收集监控系统日志，想到了hadoop的flume。经过试验，虽说功能不算足够强大，但基本上能够满足功能需求。Flume 是一个分布式、可靠和高可用的服务日志收集工具，能够和hadoop...
分类：
Web程序 时间：
2014-10-20 17:10:35
阅读次数：
333
Logstash+ElasticSearch+Kibana3架构日志系统一，分析系统简介日志监控和分析在保障业务稳定运行时，起到了很重要的作用，不过一般情况下日志都分散在各个生产服务器，且开发人员无法登陆生产服务器，这时候就需要一个集中式的日志收集装置，对日志中的关键字进行监控，触发异..
分类：
其他好文 时间：
2014-10-20 15:21:50
阅读次数：
388
部署ELK时候，logstash启动报错Sending logstash logs to /var/log/logstash.log.Exception in thread ">output" org.elasticsearch.discovery.MasterNotDiscoveredExcept...
分类：
其他好文 时间：
2014-10-10 11:35:24
阅读次数：
397
引因: python 的日志收集服务是线程安全的(对同一个文件的写入，使用了锁)，但是对于多进程的情况，它是无法处理的。python 官方文档推荐的做法是，使用tcp 服务器专门用于日志的收集，以确保对的文件的写入是安全的。这里提供了日志收集服务器基于twisted的实现，可供参考，程序在centos上进行了测试，并可用于生产环境...
分类：
编程语言 时间：
2014-10-02 15:47:03
阅读次数：
271
前言：做运维的很重要的基础工作就是监控，之前都是统计数据入库，然后前端js图表插件出图，费时费力，可定制性差前几天接触到了ELK(logstash, elasticsearch, kibana)这套日志收集展示工具集,的确很方便，但是手头没有那么大的存储啊也不是所有的日志数据都需要，然后就发现了gr...
分类：
其他好文 时间：
2014-09-16 15:30:20
阅读次数：
404
收集流程1nxlog=>2logstash=>3elasticsearch1.nxlog使用模块im_file收集日志文件，开启位置记录功能2.nxlog使用模块tcp输出日志3.logstash使用input-tcp，收集日志，并格式化，输出至eswindows上面的nxlog配置文件nxlog.conf##Thisisasampleconfigurationfile.Seethenxlo..
分类：
Windows程序 时间：
2014-09-10 19:44:21
阅读次数：
1381
源代码获取请到github：https://github.com/DrJia/AndroidLogCollector已经做成sdk的形式，源代码已公开，源代码看不懂的请自行google。假设想定制适应自己app的sdk请自行fork。AndroidLogCollectorandroid app崩溃日...
分类：
移动开发 时间：
2014-09-05 09:54:11
阅读次数：
276
