ELK搭建踩过的坑学习博客：http://blog.51cto.com/zero01/2082794日志多而杂，搜索慢--->集中式管理分布式系统--->快速定位服务器和模块收集-传输-存储-分析-警告ELK:elasticsearch搜索引擎logstash日志的收集、分析、过滤kibana日志分析界面beats日志采集器收集网络数据、指标、日志、window实践、审计、运行时间x-
分类：
其他好文 时间：
2018-08-15 10:38:31
阅读次数：
167
使用beats采集日志 之前也介绍过beats是ELK体系中新增的一个工具，它属于一个轻量的日志采集器，以上我们使用的日志采集工具是logstash，但是logstash占用的资源比较大，没有beats轻量，所以官方也推荐使用beats来作为日志采集工具。而且beats可扩展，支持自定义构建。 官方 ...
分类：
其他好文 时间：
2018-08-03 14:47:43
阅读次数：
456
falcon-log-agent 简介 falcon-log-agent是一个开源版的日志采集工具，旨在从流式的日志中抓取、统计日志中的特征信息。 获取的特征信息，与开源版Open-Falcon监控系统打通。可用于业务指标的衡量、也可用于稳定性的建设。 Feature 准确可依赖：历经滴滴线上业务近 ...
分类：
其他好文 时间：
2018-08-02 20:37:22
阅读次数：
2593
大数据之数据采集 大数据体系一般分为：数据采集、数据计算、数据服务、以及数据应用 几大层次。 在数据采集层，主要分为 日志采集 和 数据源数据同步。 日志采集 根据产品的类型 又有可以分为： - 浏览器页面 的日志采集 - 客户端 的日志采集 浏览器页面采集： 主要是收集页面的 浏览日志（PV/UV ...
分类：
其他好文 时间：
2018-07-30 21:42:57
阅读次数：
161
介绍ELK 它是一个解决方案，是Logstash、Elastaicsearch、Kibana的缩写，为什么使用：想想你是很多系统，出了问题还要登录到服务器查看日志、或者系统部署在客户的机器上，你甚至没有权限登录到别人服务器，作为开发人员又要修复bug！！再者，我们日志可以根据日志级别做分析，Kiba ...
分类：
Web程序 时间：
2018-07-24 10:15:37
阅读次数：
521
概述 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。 Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(chann ...
分类：
Web程序 时间：
2018-07-07 20:12:05
阅读次数：
181
Module xm_json Module xm_charconv AutodetectCharsets GBK #自动检测GBK字符集 并在input中定义 Module xm_multiline #多行匹配 HeaderLine /^\d+-\w+-\d+/ #行首匹配 ... ...
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 ...
分类：
Web程序 时间：
2018-04-27 19:59:48
阅读次数：
277
