http://blog.csdn.net/hijk139/article/details/8308224业务系统需要收集监控系统日志，想到了hadoop的flume。经过试验，虽说功能不算足够强大，但基本上能够满足功能需求。Flume 是一个分布式、可靠和高可用的服务日志收集工具，能够和hadoop...
分类：
Web程序 时间：
2014-10-20 17:10:35
阅读次数：
333
Logstash+ElasticSearch+Kibana3架构日志系统一，分析系统简介日志监控和分析在保障业务稳定运行时，起到了很重要的作用，不过一般情况下日志都分散在各个生产服务器，且开发人员无法登陆生产服务器，这时候就需要一个集中式的日志收集装置，对日志中的关键字进行监控，触发异..
分类：
其他好文 时间：
2014-10-20 15:21:50
阅读次数：
388
引因: python 的日志收集服务是线程安全的(对同一个文件的写入，使用了锁)，但是对于多进程的情况，它是无法处理的。python 官方文档推荐的做法是，使用tcp 服务器专门用于日志的收集，以确保对的文件的写入是安全的。这里提供了日志收集服务器基于twisted的实现，可供参考，程序在centos上进行了测试，并可用于生产环境...
分类：
编程语言 时间：
2014-10-02 15:47:03
阅读次数：
271
前言：做运维的很重要的基础工作就是监控，之前都是统计数据入库，然后前端js图表插件出图，费时费力，可定制性差前几天接触到了ELK(logstash, elasticsearch, kibana)这套日志收集展示工具集,的确很方便，但是手头没有那么大的存储啊也不是所有的日志数据都需要，然后就发现了gr...
分类：
其他好文 时间：
2014-09-16 15:30:20
阅读次数：
404
收集流程1nxlog=>2logstash=>3elasticsearch1.nxlog使用模块im_file收集日志文件，开启位置记录功能2.nxlog使用模块tcp输出日志3.logstash使用input-tcp，收集日志，并格式化，输出至eswindows上面的nxlog配置文件nxlog.conf##Thisisasampleconfigurationfile.Seethenxlo..
分类：
Windows程序 时间：
2014-09-10 19:44:21
阅读次数：
1381
源代码获取请到github：https://github.com/DrJia/AndroidLogCollector已经做成sdk的形式，源代码已公开，源代码看不懂的请自行google。假设想定制适应自己app的sdk请自行fork。AndroidLogCollectorandroid app崩溃日...
分类：
移动开发 时间：
2014-09-05 09:54:11
阅读次数：
276
一、安装环境agent:192.168.7.101hdfs:192.168.7.70(namenode)192.168.7.71(datanode)192.168.7.72(datanode)192.168.7.73(datanode)操作系统：CentOS6.3x86_64须用到的软件包:jdk-1.7.0_65-fcs.x86_64flume-ng-1.5.0flume-ng-agent-1.5.0hadoop-2.3.0+cdh5.1.0cat/etc/hosts19..
分类：
其他好文 时间：
2014-09-03 15:05:57
阅读次数：
252
Flume日志收集一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。...
分类：
其他好文 时间：
2014-08-31 17:13:21
阅读次数：
295
Flume日志收集一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。...
分类：
其他好文 时间：
2014-08-31 17:11:31
阅读次数：
353
一、首先来解读下rsyslog配置文件的含义配置文件路径/etc/rsyslog.conf在rsyslog中facility设施可以从功能或者程序上对日志分类常用的以下几种auth和认证相关的authpriv和认证授权相关的cron专门给周期性任务计划做日志记录的daemon帮守护进程做日志记录kern给内核做日志记录lp..
分类：
数据库 时间：
2014-08-31 10:36:21
阅读次数：
532
