一、问题现象最近在研究Docker容器日志管理时,启动容器出现iptables相关报错,具体问题如下运行容器[root@node-11~]#dockerrun-d-p24224:24224-p24224:24224/udp-v/data:/fluentd/logfluent/fluentd出现如下报错docker:Errorresponsefromdaemon:driverfailedprogra
分类:
其他好文 时间:
2018-05-28 11:52:24
阅读次数:
1410
随着Docker容器广泛应用,,大规模运行的容器集群来说,日志不能集中管理是一件很痛苦的事情。不能合理的收集,管理检索应用日志,在应用发生了故障的时候将无法很好的追溯问题发生的原因。本文主要介绍Docker配置Fluentd进行日志管理1、快速启动Fluentd# docker run -d -p 24224:24224 -p 24224:24224/udp -v /data:/fluent
分类:
其他好文 时间:
2018-05-03 19:52:49
阅读次数:
553
下载fluentd 的images https://hub.docker.com/r/fluent/fluentd kubernetes daemonset/ 由于镜像没有kafka插件修改镜像,dockerfile文件如下 最后生成镜像:192.168.19.111/baseimages/flue ...
分类:
其他好文 时间:
2018-04-28 11:47:34
阅读次数:
1688
配置和安装 EFK 官方文件目录: 同样EFK服务也需要一个 文件,配置serviceaccount为 。 已经修改好的 yaml 文件见: "EFK" 配置 es controller.yaml 配置 es service.yaml 无需修改 配置 fluentd es ds.yaml 配置 ki ...
分类:
其他好文 时间:
2018-04-07 21:01:55
阅读次数:
622
分布式日志收集系统日志收集系统采用elasticsearch+fluentd+kibana,用fluentd代替elk社区里的logstash,logstas的插件是最多的,同时logstash的性能和资源消耗太高,经某站大佬压力测试,在环境为2核4g的云计算服务器上,logstash写入qps极限为8000,通过结合易瑞现有询报价系统,同时也是用户3000+的项目产品,logstash负载压力显
分类:
其他好文 时间:
2018-03-16 14:00:25
阅读次数:
340
fluent-logger-java is a Java library, to record events via Fluentd, from Java application. https://github.com/fluent/fluent-logger-java 使用该sdk过程发现,tcp ...
分类:
其他好文 时间:
2018-01-26 21:01:42
阅读次数:
260
Fluentd是一个开源的数据收集器,专为处理数据流设计,有点像 syslogd ,但是使用JSON作为数据格式。它采用了插件式的架构,具有高可扩展性高可用性,同时还实现了高可靠的信息转发。 据分(Y)析(Y),Fluentd是由Fluent+d得来,d生动形象地标明了它是以一个守护进程的方式运行。 ...
分类:
其他好文 时间:
2017-12-20 20:19:18
阅读次数:
6078
fluentd-pilot简介 fluentd-pilot是阿里开源的docker日志收集工具,Github项目地址:https://github.com/AliyunContainerService/fluentd-pilot 。你可以在每台机器上部署一个fluentd-pilot实例,就可以收集 ...
分类:
其他好文 时间:
2017-12-13 20:05:00
阅读次数:
705
本节内容: EFK介绍 安装配置EFK 配置efk-rbac.yaml文件 配置 es-controller.yaml 配置 es-service.yaml 配置 fluentd-es-ds.yaml 配置 kibana-controller.yaml 配置 kibana-service.yaml ...
分类:
Web程序 时间:
2017-12-04 11:42:29
阅读次数:
1856
前面我们学的ELK中用filebeat收集docker容器日志,利用的是dcoker默认的logging driver json-file,下面我们用fluentd来收集容器日志 Fluentd是一个开源的数据收集器,他目前又超过500种的plugin,可以连接各种数据源和数据输出组件。 实践: f ...
分类:
其他好文 时间:
2017-12-01 22:06:56
阅读次数:
545