集群组件和版本Kubernetes1.6.2Docker17.04.0-ceEtcd3.1.6Flanneld0.7.1vxlan网络TLS认证通信(所有组件,如etcd、kubernetesmaster和node)RBAC授权kubeletTLSBootStrappingkubedns、dashboard、heapster(influxdb、grafana)、EFK(elasticsearch、fluentd、kibana)插件私有docke..
分类:
Web程序 时间:
2017-11-22 10:22:11
阅读次数:
284
SaltStack 调用API WAF安全 nginx_lua WAF Logstash flume fluentd logstash 实时: stom kafka 架构: flume + stom + kafka + hdfs 应用部署更新 rundesk Piwik流量分析 piwik Zabb ...
分类:
其他好文 时间:
2017-11-10 18:48:27
阅读次数:
207
前面的ELK中我们是用Filebeat收集Docker容器的日志,利用的是Docker默认的loggingdriverjson-file,本节我们将使用fluentd来收集容器的日志。Fluentd是一个开源的数据收集器,它目前有超过500种的plugin,可以连接各种数据源和数据输出组件。在接下来的实践中,Fluentd会负责收..
分类:
其他好文 时间:
2017-11-08 10:28:37
阅读次数:
109
这段时候一直在研究ELK框架,主要集成在对fluentd和nxlog的研究上,国内文章不多,主要看了一下官方的API,配合自己的理解,总结了一下,希望可以帮到刚入行的朋友们! Fluentd(日志收集与过滤,server) Fluentd是一个免费,而且完全开源的日志管理工具,简化了日志的收集、处理 ...
分类:
其他好文 时间:
2017-10-27 01:51:42
阅读次数:
224
经验与实践 前两篇文章里我们介绍了nxlog的日志收集和转发《ELK系列~Nxlog日志收集加转发(解决log4日志换行导致json转换失败问题)》,今天我们主要总结一下,在与log4和fluentd及elasticsearch配合工作时需要注意的几个点,这几个点也是我们经常遇到的坑,希望可以帮到大 ...
分类:
Web程序 时间:
2017-10-25 11:40:03
阅读次数:
358
本文章将会继承上一篇文章,主要讲通过工具来进行日志的收集与发送,《ELK系列~NLog.Targets.Fluentd到达如何通过tcp发到fluentd》 Nxlog是一个日志收集工具,它将系统日志,或者指定的日志文件,统配符文件找到,然后加工,最后发送到目标位置。而目标位置有很多种,如文件系统, ...
分类:
Web程序 时间:
2017-10-24 14:57:36
阅读次数:
250
由于logstash太过臃肿,CPU和内存使用过大,我们需要一个性能好,资源消耗低的替代品。fluentd就是我们想要的。测试表明,在相同负载情况下,fluentd的性能数倍于logstash。由于CentOS7自带ruby版本过低,本文使用ruby2.4.1安装fluentd.1、卸载自带的rubyyumremoveruby-y2、安..
分类:
其他好文 时间:
2017-08-14 22:22:44
阅读次数:
2419
今天接到一个任务,改进一个报表,在分页查新的报表最后一行插入一条求和数据。 要求:1.对复核条件的元组进行求和 2.求和列数为最后四列 方案1:重新组织查询条件,查询所有数据,然后对获得的数据集合进行循环遍历将后四列进行叠加。 方案2:重新组织查询条件,查询所有数据,让后利用Linq的Sum方法对每 ...
分类:
其他好文 时间:
2017-08-10 19:51:22
阅读次数:
154
在上一遍博文中我们介绍了Nginx容器访问日志收集的方案,我们使用EFK的架构来完成对容器日志内应用日志的收集,如果不知道什么是EFK架构,那么请访问以下链接获取相关的帮助Nginx容器日志收集方案fluentd+elasticsearch+kilbana如果你已经认真阅读了上面的链接,并撑握了其用法..
分类:
其他好文 时间:
2017-07-26 22:16:21
阅读次数:
282
简单概述 最近在了解ELK做日志采集相关的内容,这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种,如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢?因为logstash是jvm跑的,资源消耗比较大,启动一个log ...
分类:
其他好文 时间:
2017-07-26 18:10:59
阅读次数:
1037