Tags：k8s环境下的容器日志收集K8S环境下面如何收集应用日志在本文中重点讲一下K8S容器环境中如何收集容器的日志；1.容器日志收集方案的选择：??在K8S集群中，容器的日志收集方案一般有三种；第一种方案是通过在每一个k8s节点安装日志收集客户端软件，比如fluentd。这种方案不好的一点是应用的日志必须输出到标准输出，并且是通过在每一台计算节点的/var/log/co
分类：
其他好文 时间：
2019-11-24 09:50:35
阅读次数：
77
本篇主要讲工作中的真实经历，我们怎么打造亿级日志平台，同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」 废话不多说，老司机们座好了，我们准备发车了~~~ 整体架构 整体架构主要分为 4 个模块，分别提供不同的功能 Filebeat： ...
分类：
其他好文 时间：
2019-02-02 14:34:07
阅读次数：
201
ELK日志平台搭建整体架构整体架构主要分为5个模块，分别提供不同的功能：Filebeat：轻量级数据收集引擎。基于原先Logstash-fowarder的源码改造出来。是ELKStack在Agent的第一选择。<br><br>Kafka：数据缓冲队列。作为消息队列解耦了处理过程，同时提高了可扩展性。具有峰值处理能力，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突
分类：
其他好文 时间：
2018-08-11 20:54:40
阅读次数：
247
项目已上线许久，项目中使用的是log4j 1.x版本，本来日志也可以正常记录，但是运维报怨说，你们的日志太大了，catalina.out日志输出无限大，以致有些应用出现服务器存储告警，所以建议我们： “应用日志必须对接公司统一日志平台,若同时也存放在本地服务器,则统一放在容器根目录下的单独文件夹,文 ...
分类：
编程语言 时间：
2018-07-28 11:49:35
阅读次数：
185
本篇主要讲具体怎么落地实践，手把手建立一套亿级ELK日志平台。具体发展过程可以参考上篇「从ELK到EFK演进」，废话不多说，老司机们座好了，我们准备发车了
分类：
其他好文 时间：
2018-05-16 22:39:23
阅读次数：
231
filebeat+redis+elk系统：centos7.1x86_64filebeat:6.2.3logstash:6.2.3elasticsearch:6.2.3kibana:6.2.3架构如下：配置yum源：导入验证文件rpm--importhttps://artifacts.elastic.co/GPG-KEY-elasticsearchrpm--importhttps://package
分类：
其他好文 时间：
2018-04-08 10:48:01
阅读次数：
726
ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台 参考：http://www.tuicool.com/articles/R77fieA 我在做ELK日志平台开始之初选择为ELK+Redis直接构建，在采集nginx日志时一切正常，当我采集我司业务报文日志类后，logst ...
分类：
其他好文 时间：
2018-01-11 11:38:31
阅读次数：
236
本文记录了三个配置文件：第一个：all.conf通过一个配置文件，配置输入输出，实例；第二个：shipper.conf配置logstash收集日志内容到redis里；第三个：indexer.conf配置logstash从redis里读取日志内容输出到Elasticsearch里。第二个跟第三个配置解耦收集日志ELK解耦logstash---..
分类：
其他好文 时间：
2017-07-12 15:20:58
阅读次数：
242
环境的困境（原因）1、开发人员不能登录线上服务器查看相信日志；2、各个系统都有日志，日志数据分散难以查找；3、日志数据量大，查询速度慢，或者数据不够及时。（状态码400的top10）收集->存储->统计->报警、、、ElasticSearch+Logstash+Kibana=ELKStack1、分布式全..
分类：
其他好文 时间：
2017-07-12 10:02:30
阅读次数：
474
ELK日志平台是一个完整的日志分析系统，有三个开源工具构建组成，分别是：Elasticsearch、Logstash和Kibana。Elasticsearch用于数据分析和深度搜索；Logstash作用是从其他服务器上传输和转发日志，对其集中管理，进行分析；Kibana则是提供了强大的UI展示，将数据可视化。安装EL..
分类：
其他好文 时间：
2017-06-16 23:10:15
阅读次数：
384
