（一）含义：logstash是一种分布式日志收集框架，开发语言是JRuby，当然是为了与Java平台对接，不过与Ruby语法兼容良好，非常简洁强大，经常与ElasticSearch，Kibana配置，组成著名的ELK技术栈，非常适合用来做日志数据的分析。当然它可以单独出现，作为日志收集软件，你可以收..
分类：
其他好文 时间：
2017-05-22 21:26:23
阅读次数：
266
更高的写负载 默认情况下，对比事务安全，MongoDB更关注高的插入速度。如果你需要加载大量低价值的业务数据，比如日志收集，那么MongoDB将很适合你的用例，但是必须避免在要求高事务安全的情景下使用MongoDB，比如一个1000万美元的交易。 处理很大的规模的单表： 数据库扩展是非常有挑战性的， ...
分类：
数据库 时间：
2017-05-21 14:47:49
阅读次数：
227
一、Flume简介 Flume是一个分布式的、高可用的海量日志收集、聚合和传输日志收集系统，支持在日志系统中定制各类数据发送方（如：Kafka，HDFS等），便于收集数据。其核心为agent，agent是一个java进程，运行在日志收集节点。 agent里面包含3个核心组件：source、chann ...
分类：
Web程序 时间：
2017-05-14 21:37:29
阅读次数：
342
一、简介 1、核心组成 ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完 ...
分类：
其他好文 时间：
2017-05-13 16:54:42
阅读次数：
2044
最近rancher平台上docker日志收集捣腾挺久的，尤其在配置上，特写下记录 Unix/Linux系统中的大部分日志都是通过一种叫做syslog的机制产生和维护的。syslog是一种标准的协议，分为客户端和服务器端，客户端是产生日志消息的一方，而服务器端负责接收客户端发送来的日志消息，并做出保存 ...
分类：
其他好文 时间：
2017-05-13 00:32:11
阅读次数：
612
一、日志概述1、rsyslog简介syslog是日志收集存储系统，负责记录遵守此服务的内核、程序的日志信息。一般记录为：“日期时间，主机，进程：事件”。syslog不仅可以记录本地的系统日志，也可以通过tcp,udp协议记录远程主机的程序日志信息。syslog：系统日志，是一种服务，有两个..
分类：
其他好文 时间：
2017-05-11 22:11:43
阅读次数：
608
一、LogAnalyzer介绍LogAnalyzer工具提供了一个易于使用，功能强大的前端，用于搜索，查看和分析网络活动数据，包括系统日志，事件日志和其他许多日志源。由于它只是将数据展示到我们用户的面前，所以数据本身需要由另一个程序收集，比如syslogd，rsyslog（现在是发行版的默认..
分类：
系统相关 时间：
2017-05-08 14:44:11
阅读次数：
281
因为docker产生的容器不是一个永久存储的文件，所以无法保证你的文件永久保存。建议大家把容器产生的日志通过fluentd，flume，logstash等工具传送到一个日志仓库，这样保证方便保证数据的安全和管理。由于docker官方的推荐，我们本次讲解是fluentd日志收集组件。具体使用如下：..
分类：
其他好文 时间：
2017-05-05 23:15:08
阅读次数：
1798
Logstash日志收集实践 先了解以下几个基本概念: logstash收集日志基本流程: input-->codec-->filter-->codec-->output 1.input:从哪里收集日志。 2.filter:发出去前进行过滤 3.output:输出至Elasticsearch或Red ...
分类：
其他好文 时间：
2017-05-02 13:55:30
阅读次数：
142
spring cloud sleuth是日志收集工具包，封装了Dapper和log-based追踪以及Zipkin和HTrace操作，为SpringCloud应用实现了一种分布式追踪解决方案。 首先，先弄清楚几个概念。 Zipkin： 是 Twitter 的一个开源项目，允许开发者收集 Twitte ...
分类：
编程语言 时间：
2017-04-30 17:15:44
阅读次数：
309
