利用 ELK 搭建 Docker 容器化应用日志中心 概述 应用一旦容器化以后，需要考虑的就是如何采集位于 Docker 容器中的应用程序的打印日志供运维分析。典型的比如SpringBoot应用的日志收集。 本文即将阐述如何利用ELK日志中心来收集容器化应用程序所产生的日志，并且可以用可视化的方式对 ...
分类：
其他好文 时间：
2018-07-30 11:33:23
阅读次数：
144
首先这里要收集的日志是容器的日志，而不是集群状态的日志 要完成的三个点，收集，监控，报警，收集是基础，监控和报警可以基于收集的日志来作，这篇主要实现收集 不想看字的可以直接看代码，一共没几行，尽量用调用本地方法实现，有工夫的可以改写成shell脚本 https://github.com/cclien ...
分类：
Web程序 时间：
2018-07-28 11:58:17
阅读次数：
346
[TOC] 简介 ELK是一个日志收集分析的平台，它能收集海量的日志，并将其根据字段切割。一来方便供开发查看日志，定位问题；二来可以根据日志进行统计分析，通过其强大的呈现能力，挖掘数据的潜在价值，分析重要指标的趋势和分布等，能够规避灾难和指导决策等。ELK是Elasticsearch公司出品的一组套 ...
分类：
其他好文 时间：
2018-07-26 19:53:37
阅读次数：
289
需求背景： 在利用flume进行日志收集的时候，错误信息会将堆栈多行打印，需要将多行信息合并成一行，包装成一个event进行传输。 解决思路： 解决上述需求可以通过自定义拦截器和自定义反序列化器来实现。网上关于自定义拦截器的资料比较多，但考虑到拦截器的定位和使用场景，拦截器不应用于多个event拆分 ...
分类：
Web程序 时间：
2018-07-25 18:59:33
阅读次数：
407
一、前置准备： Linux命令基础 Scala、Python其中一门 Hadoop、Spark、Flume、Kafka、Hbase基础知识 二、分布式日志收集框架Flume 业务现状分析：服务器、web服务产生的大量日志，怎么使用，怎么将大量日志导入到集群 1、shell脚本批量，再传到Hdfs：实 ...
分类：
Web程序 时间：
2018-07-25 18:59:14
阅读次数：
367
1.Kafka主要作用 1.消息系统 2.网站活性跟踪 3.监控数据收集 4.日志收集 2. Kafka多活架构 重点：Topic之间的数据复制关系，通过制定下游Topic生产为上游Topic。 3.消息发送策略 4.消息丢失 针对produce、topic以及consumer三个不同阶段处理 5. ...
分类：
其他好文 时间：
2018-07-24 21:45:21
阅读次数：
154
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash。 Elastic ...
分类：
其他好文 时间：
2018-07-20 11:29:54
阅读次数：
195
一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。 但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核 ...
分类：
Web程序 时间：
2018-07-19 23:25:38
阅读次数：
297
我们平时分析log直接在日志文件中grep、awk就可以获得自己想要的信息，此方法效率低下，生产中需要集中化的日志管理，所有服务器上的日志收集汇总Elasticsearch一个节点(node)就是一个Elasticsearch实例，一个集群(cluster)由一个或多个节点组成，它们具有相同的cluster.name，它们协同工作，分享数据和负载。当加入新的节点或者删除一个节点时，集群就会感知到并
分类：
其他好文 时间：
2018-07-14 16:31:29
阅读次数：
275
1、收集Nginx的json格式日志 1.1、Nginx安装 [root@linux-node1 ~]# yum install nginx -y [root@linux-node1 ~]# vim /etc/nginx/nginx.conf #修改日志格式为json格式，并创建一个nginxweb ...
分类：
编程语言 时间：
2018-07-06 14:22:59
阅读次数：
297
