ApacheFlume是一个分布式的、可靠的、高效的系统，可以将不同来源的数据收集、聚合并移动到集中的数据存储中心上。ApacheFlume不仅仅只是用到日志收集中。由于数据来源是可以定制的，flume可以使用传输大量的自定义event数据，包括但不限于网站流量信息、社会媒体信息、email信息以及...
分类：
Web程序 时间：
2015-08-28 19:28:39
阅读次数：
229
问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？2.架构设计考虑需要考虑什么问题？3.Agent死机该如何解决？4.Collector死机是否会有影响？5.Flume-NG可靠性(reliability)方面做了哪些措施？美团的日志收集系统负责美团的所有业务日志的...
分类：
Web程序 时间：
2015-08-27 18:36:58
阅读次数：
375
问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？2.架构设计考虑需要考虑什么问题？3.Agent死机该如何解决？4.Collector死机是否会有影响？5.Flume-NG可靠性(reliability)方面做了哪些措施？美团的日志收集系统负责美团的所有业务日志的...
分类：
Web程序 时间：
2015-08-27 18:07:42
阅读次数：
249
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心...
分类：
Web程序 时间：
2015-08-21 18:42:41
阅读次数：
232
在复杂的网络环境和浏览器环境下，自测、QA测试以及 Code Review 都是不够的，如果对页面稳定性和准确性要求较高，就必须有一套完善的代码异常监控体系，本文从前端代码异常监控的方法和问题着手，尽量全面地阐述错误日志收集各个阶段中可能遇到的阻碍和处理方案。? 收集日志的方法平时收集日志的手段，可...
分类：
其他好文 时间：
2015-08-20 01:19:05
阅读次数：
210
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类...
分类：
Web程序 时间：
2015-08-17 21:35:09
阅读次数：
240
本次升级并没有增加新的告警，而是增加了window的日志分析，主要分析了windows的登录日志和操作日志，这两个比较重要的日志类型，其他日志类型可以作为通用的日志收集功能进行存储查询。Windows系统没有自带的功能支持系统日志进行syslog发送，因此需要依赖第三方工具，这里我..
1、日志平台的工作流程多个独立的agent(Shipper)负责收集不同来源的数据，一个中心agent(Indexer)负责汇总和分析数据，在中心agent前的Broker(使用redis实现)作为缓冲区，中心agent后的ElasticSearch用于存储和搜索数据，前端的Kibana提供丰富的图表展示。Shipper表示日志收集..
分类：
其他好文 时间：
2015-08-14 17:18:40
阅读次数：
668
Flume该演示是不是说。你可以自己搜索。但现在的互联网主要是Flume 1.4前版本号的信息。Flume 1.5在轰动的大变化。假设你准备尝试，我在这里给大家介绍一下程序最小化结构，和使用MongoSink的数据被存储mongodb。完全独立的执行，没有master。没有collector（说白了...
分类：
数据库 时间：
2015-08-12 13:10:10
阅读次数：
389
flume是cloudera公司的一款高性能、高可能的分布式日志收集系统。flume的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。flume传输的数据的基本单位是event，如果是文本文件，通常是一行记...
分类：
Web程序 时间：
2015-07-30 23:16:06
阅读次数：
377
