参考https://www.jianshu.com/p/8384f6cd0f22 Logstash 优势 Logstash 主要的有点就是它的灵活性，这还主要因为它有很多插件。然后它清楚的文档已经直白的配置格式让它可以再多种场景下应用。这样的良性循环让我们可以在网上找到很多资源，几乎可以处理任何问题 ...
分类：
其他好文 时间：
2018-01-09 18:45:14
阅读次数：
1247
收集流程 1nxlog => 2logstash => 3elasticsearch 1. nxlog 使用模块 im_file 收集日志文件，开启位置记录功能 2. nxlog 使用模块tcp输出日志 3. logstash 使用input-tcp ，收集日志，并格式化，输出至es windows ...
Flume是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持Failover和负载均衡。并且它拥有非常丰富的组件。Flume采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和Sink，三者组建了一个Agent。三者的职责如下所示：
分类：
Web程序 时间：
2018-01-08 16:41:23
阅读次数：
227
需求背景一位朋友的公司研发最近有一些苦恼。由于他们公司的后台服务有三台，每当后台服务运行异常，需要看日志排查错误的时候，都必须开启3个ssh端口进行查看，研发们觉得很不方便，于是便有了统一日志收集与查看的需求。这里，我用ELK集群，通过收集三台后台服务的日志，再统一进行日志展示，实现了这一需求。当然，当前只是进行了简单的日志采集，如果后期相对某些日志字段进行分析，则可以通过logstash以及Ki
分类：
其他好文 时间：
2018-01-02 11:27:17
阅读次数：
142
在讲正文开始前先回顾一下以往传统的代码部署方式。 通常运维人员在接到代码（新项目）上线的任务前都要做大量的准备工作，包括：物理主机、虚拟机、代码运行环境、数据库安装配置、各种帐号创建，、运行后期的系统监控、应用的日志收集，性能优化等一系列的工作。 想一想这个流程不是
分类：
其他好文 时间：
2017-12-22 22:51:43
阅读次数：
1813
2017/12/17_第1次修改 ccb_warlock ELK（elasticsearch、logstash、kibana）可以作为日志收集及分析的一整套系统，通过阿里的普及也有越来越多的公司在使用，使用下来功能还可以，这里整理记录一个部署手册。 为了方便，将ELK都部署在一台os里。 一、环境准 ...
分类：
其他好文 时间：
2017-12-18 01:30:45
阅读次数：
393
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分 ...
分类：
其他好文 时间：
2017-12-14 04:04:46
阅读次数：
236
fluentd-pilot简介 fluentd-pilot是阿里开源的docker日志收集工具，Github项目地址：https://github.com/AliyunContainerService/fluentd-pilot 。你可以在每台机器上部署一个fluentd-pilot实例，就可以收集 ...
分类：
其他好文 时间：
2017-12-13 20:05:00
阅读次数：
705
Apache Flume概述 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 支持定制各类数据发送方，用于收集各类型数据；同时，Flume 提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。一般的采集需求，通过对 flu ...
分类：
Web程序 时间：
2017-12-08 23:58:12
阅读次数：
358
1.收集snap日志：收集SNAP信息请将机器序列号做为snap的前缀文件名发送给我如06-123567snap.pax.Z请以root用户权限执行：1)#snap-rA)如果以前未做过snap,系统会报错说明没有可清理的内容,显示“nothingtocleanup”如图，B)如果以前做过snap，显示Doyouwantmetoremovethesedirec..
分类：
其他好文 时间：
2017-11-20 16:41:50
阅读次数：
155
