收集流程 1nxlog => 2logstash => 3elasticsearch 1. nxlog 使用模块 im_file 收集日志文件，开启位置记录功能 2. nxlog 使用模块tcp输出日志 3. logstash 使用input-tcp ，收集日志，并格式化，输出至es windows ...
fluentd-pilot简介 fluentd-pilot是阿里开源的docker日志收集工具，Github项目地址：https://github.com/AliyunContainerService/fluentd-pilot 。你可以在每台机器上部署一个fluentd-pilot实例，就可以收集 ...
分类：
其他好文 时间：
2017-12-13 20:05:00
阅读次数：
705
为了减少应用服务器对磁盘的读写,以及可以集中日志在一台机器上,方便使用ELK收集日志信息,所以考虑做一个jar包,让应用集中输出日志 网上搜了一圈,只发现有人写了个程序在github 地址:https://github.com/johnmpage/logback-kafka 本来打算引用一下这个ja ...
分类：
移动开发 时间：
2017-12-11 23:09:32
阅读次数：
743
有些服务器上有多个服务，要使用单个logstash收集日志，因为有多个配置文件，刚开始使用 启动,etc下面放多个配置文件，但是出现ruby错误，改为： 指定单个配置文件实现启动多个进程传输日志，每个进程要指定不同的--path.data，不然启动报错 ...
分类：
其他好文 时间：
2017-11-28 19:46:45
阅读次数：
147
?13.1 日志的定义 13.1.1 日志的定义 听到日志这个东西可能有的人莫名其妙，第一次接触就会觉得我们为什么要收集日志，即使要收集日志那么我们需要收集哪些日志，日志的作用是什么等等。 其实日志无论是在测试、开发中都非常重要，如果你在跑自动化时程序报错了，但是你没有日志你怎么去定位时程序错误还是 ...
分类：
移动开发 时间：
2017-11-06 20:16:29
阅读次数：
282
1，日志的采集从flumeagent上的数据一般分到两条线上一条是kafka集群，后期可以用流式处理（sparkstreaming或storm等等）一条是到hdfs，后期可以用hive处理，业界叫lambda架构architecture(一般公司的推荐系统，就是用这种架构)flume-ngagent采集收集日志后，聚合在一个节点上..
分类：
其他好文 时间：
2017-09-20 23:26:56
阅读次数：
216
VMware中收集诊断信息，可能包含来自ESXi主机和vCenterServer的支持包。在主机支持包中收集的数据可能被视为敏感数据。另外，从vSphere6.5起，支持包中还会包含来自ESXi主机的加密信息。1、在ESXi/ESX主机上的控制台会话中运行vm-support将控制台打开到ESX或ESXi主机运行vm-sup..
分类：
系统相关 时间：
2017-09-14 10:46:28
阅读次数：
264
Scribe简介Scribe是Facebook开源的分布式日志收集系统，目前在各大互联网公司内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可..
分类：
其他好文 时间：
2017-09-13 17:17:43
阅读次数：
246
一）简介elk系统是一套目前较为流行的日志收集分析系统，主要由elasticserch,logstash,kibana三部分组成，其中elasticsearch负责数据的存储，logstash负责日志的收集过滤，kibana负责日志的可视化部分。整个工作流程为logstash收集日志，过滤后输出并保存到elasticsearch中，最..
分类：
其他好文 时间：
2017-09-12 23:18:32
阅读次数：
248
JVM垃圾收集搞懂原理很重要，但是连垃圾收集的日志都不懂，这tmd还分析个屁的问题啊，典型的空有理论知识，动手实践为零。本篇就来具体的学习一下JVM中的垃圾收集日志。 第一步，垃圾收集的选项 图1 JVM垃圾收集日志选项图1中后面标有大拇指的是该图作者的推荐选项。-XX:+PrintGCDetail... ...
分类：
其他好文 时间：
2017-09-06 17:10:21
阅读次数：
246
