flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。 但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核 ...
分类：
Web程序 时间：
2018-08-19 20:07:13
阅读次数：
304
Flume – 初识flume、source和sink 目录基本概念常用源 Source常用sink 基本概念 ? 什么叫flume？ 分布式，可靠的大量日志收集、聚合和移动工具。 ? events 事件，是一行数据的字节数据，是flume发送文件的基本单位。 ? flume配置文件 重命名flum ...
分类：
Web程序 时间：
2018-08-13 21:00:40
阅读次数：
264
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分
分类：
其他好文 时间：
2018-08-13 18:08:01
阅读次数：
195
Syslog和Windows事件日志收集 EventLog Analyzer从分布式Windows设备收集事件日志，或从分布式Linux和UNIX设备、交换机和路由器(Cisco)收集syslog。事件日志报表为实时生成，以显示整个网络中的重要系统信息。 无需代理/客户端软件的日志收集 对于事件日志 ...
Centos7部署ELK日志收集系统一、ELK概述：ELK是一组开源软件的简称，其包括Elasticsearch、Logstash和Kibana。ELK最近几年发展迅速，已经成为目前最流行的集中式日志解决方案。Elasticsearch:能对大容量的数据进行接近实时的存储，搜索和分析操作。本项目中主要通过Elasticsearch存储所有获取的日志。Logstash：数据收集引擎，它支持动态的的从
分类：
系统相关 时间：
2018-08-09 17:31:06
阅读次数：
300
代码展示 监控系统地址： Demo地址 页面探针代码： GitHub地址 分析后台地址： GitHub地址 展示平台地址： GitHub地址 代码展示 对于前端应用来说，Js错误的发生直接影响前端应用的质量。对Js异常的监控是整个前端监控系统中的一个重要环节。 那么如何做到对Js错误的监控呢？对搜集 ...
分类：
Web程序 时间：
2018-08-04 11:55:16
阅读次数：
1394
log日志都是一个系统不可缺少的一个重要组成部分，出现问题通过日志解决是非常有效的方法，如果能将日志收集在一个指定的服务器，对生产环境来说是很重要的。
分类：
系统相关 时间：
2018-08-01 15:19:55
阅读次数：
211
我们平时分析log直接在日志文件中grep、awk就可以获得自己想要的信息，此方法效率低下，生产中需要集中化的日志管理，所有服务器上的日志收集汇总Elasticsearch一个节点(node)就是一个Elasticsearch实例，一个集群(cluster)由一个或多个节点组成，它们具有相同的cluster.name，它们协同工作，分享数据和负载。当加入新的节点或者删除一个节点时，集群就会感知到并
分类：
其他好文 时间：
2018-08-01 00:23:30
阅读次数：
259
写在前面的话 本系列文章仅仅代表个人的观点，结合自己的学习、使用经验，将kafka0.8.2官方文档，进行翻译，目录结构按照官方文档进行排版。 目的： 一、Getting Started 1、1 Introduction（简介） Kafka是一个分布式、分区的、数据备份的日志收集系统。Kafka使用 ...
分类：
其他好文 时间：
2018-07-30 20:21:19
阅读次数：
816
消息队列作为分布式系统中重要的组件，可以解决应用耦合，异步消息，流量削锋等系列问题 实现高性能，高可用，可伸缩和最终一致性架构 使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场 ...
分类：
其他好文 时间：
2018-07-30 16:40:01
阅读次数：
145
