Cluster日志收集：登录到任意一个群集的节点，在命令提示符下执行：clusterlog/g，之后会在节点主机生成cluster.log，路径为：C:\Windows\cluster\reports\cluster.log执行命令后，会在群集的所有节点上自动收集日志。
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计，将主要着眼于日志收集系...
分类：
Web程序 时间：
2016-01-11 17:50:24
阅读次数：
248
上周把安卓日志手机的客户端sdk完成跑通，这周开始调试日志服务器端。使用flume进行日志收集，然后转kafka。在测试的时候总是发现漏掉一些event，后来才知道对 channel 和 sink 的使用有误。当多个sink使用同一个channel时，event是会分流共同消耗的，而不是每个sink...
分类：
Web程序 时间：
2016-01-05 18:40:42
阅读次数：
197
0x01背景面对与日俱增的日志信息，最传统的日志收集方式已难以满足运维人员的基本需求。So，我们何不利用如今丰富的开源工具来打造一款高效实用的运维日志收集分析平台呢。以下就我们目前尝试在做的运维日志平台进行简要介绍，希望能与各位交流心得经验。0x02平台架构我们并没..
分类：
其他好文 时间：
2015-12-13 23:53:15
阅读次数：
260
官方参考文档https://flume.apache.org/FlumeUserGuide.html#file-channelFlumeNG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的FlumeOG到现在的FlumeNG，进行了架构重构，并且现..
分类：
Web程序 时间：
2015-12-13 00:50:23
阅读次数：
306
转自http://blog.csdn.net/nacey5201/article/details/33401137http://www.dataguru.cn/article-4110-1.html
分类：
其他好文 时间：
2015-12-08 18:27:54
阅读次数：
177
a)DS4700存储日志收集 1）收集all support data 1.1、启动客户端”DS Storage manger 10 client”添加控制器IP”192.168.128.101、192.168.128.102“ 1.2、打开菜单Advance-->troubleshooting--...
分类：
其他好文 时间：
2015-12-03 00:13:53
阅读次数：
662
一、FLUME介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三...
分类：
Web程序 时间：
2015-11-28 01:01:28
阅读次数：
255
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心...
分类：
Web程序 时间：
2015-11-27 16:46:38
阅读次数：
123
一.环境准备角色SERVERIPlogstashagent10.1.11.31logstashagent10.1.11.35logstashagent10.1.11.36logstashcentral10.1.11.13elasticsearch10.1.11.13redis10.1.11.13kibana10.1.11.13架构图如下:整个流程如下:1)远程节点的logstashagent收集本地日志后发送到远程redis的list队..
分类：
其他好文 时间：
2015-11-23 19:18:39
阅读次数：
326
