一、Flume简介 Apache Flume 是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本，NG 在 OG 的基础上进行了完全的重构，是目前使用最为广泛的版本。下面的 ...
分类：
Web程序 时间：
2019-08-31 17:18:53
阅读次数：
130
Kubernetes集群本身不提供日志收集的解决方案，一般来说有主要的3种方案来做日志收集：1、在每个节点上运行一个agent来收集日志由于这种agent必须在每个节点上运行，所以直接使用DaemonSet控制器运行该应用程序即可这种方法也仅仅适用于收集输出到stdout和stderr的应用程序日志简单来说，本方式就是在每个node上各运行一个日志代理容器，对本节点/var/log和/var/li
分类：
其他好文 时间：
2019-08-25 00:50:01
阅读次数：
221
filebeat+elk日志收集平台搭建流程 1、 整体简介： 模式：单机 平台：Linux - centos - 7 ELK：elasticsearch、logstash、kibana三款开源软件的集合。 FILEBEAT：代替logstash的采集功能，轻量、耗用小。 目前收集的有nginx日志 ...
分类：
其他好文 时间：
2019-08-23 22:12:59
阅读次数：
111
微服务与K8S容器云平台架构微服务与12要素网络日志收集服务网关服务注册服务治理- java agent监控今天先到这儿，希望对技术领导力， 企业管理，系统架构设计与评估，团队管理, 项目管理, 产品管理,团队建设 有参考作用 , 您可能感兴趣的文章: 领导人怎样带领好团队构建创业公司突击小团队国际... ...
分类：
其他好文 时间：
2019-08-16 23:12:42
阅读次数：
220
传统ELK图示： 单纯使用ElK实现分布式日志收集缺点？ 1、logstash太多了，扩展不好。 如上图这种形式就是一个 tomcat 对应一个 logstash，新增一个节点就得同样的拥有 logstash，可以说很浪费了。 2、读取IO文件，可能会产生日志丢失。 3、不是实时性 比如logsta ...
分类：
其他好文 时间：
2019-08-16 00:56:00
阅读次数：
209
1.1 flume（日志收集系统） 1.1.1 flume介绍 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flu ...
分类：
Web程序 时间：
2019-08-14 12:53:23
阅读次数：
131
说起大数据，很多人都能聊上一会，但要是问大数据核心技术有哪些，估计很多人就说不上一二来了。从机器学习到数据可视化，大数据发展至今已经拥有了一套相当成熟的技术树，不同的技术层面有着不同的技术架构，而且每年还会涌现出新的技术名词。面对如此庞杂的技术架构，很多第一次接触大数据的小白几乎都是望而生畏的。其实想要知道大数据有哪些核心技术很简单，无非三个过程：取数据、算数据、用数据。这么说可能还是有人觉得太空
分类：
其他好文 时间：
2019-08-13 00:11:25
阅读次数：
174
搭建ELK日志分析平台（上）—— ELK介绍及搭建 Elasticsearch 分布式集群 ELK简介： ELK是三个开源软件的缩写，分别为：Elasticsearch 、 Logstash以及Kibana , 它们都是开源软件。不过现在还新增了一个Beats，它是一个轻量级的日志收集处理工具(Ag ...
分类：
其他好文 时间：
2019-08-01 14:39:39
阅读次数：
133
在搭建ELK之前，首先要安装Redis和JDK，安装Redis请参考上一篇文章。 首先安装JDK及配置环境变量 3.重启配置文件，使其立即生效 [root@VM_0_9_centos ~]# source /etc/profile ELK搭建详细过程 安装程序：filebeat，elasticsea ...
分类：
系统相关 时间：
2019-07-28 17:21:54
阅读次数：
463
目录 1、使用codec的multiline插件收集java日志... 1 2、收集nginx日志... 2 3、收集系统syslog日志... 3 4、使用fliter的grok模块收集mysql日志... 4 1、使用codec的multiline插件收集java日志 对于采用ELK作为应用日志 ...
分类：
编程语言 时间：
2019-07-26 01:33:00
阅读次数：
150
