一、概述 在标准的Linux系统上,守护进程klogd从记录3缓冲区中获取内核的信息,再通过syslogd守护进程将它们保存在系统的日志文件中。klogd程序既可以从/proc/kmsg文件中,也可以通过syslog()系统调用来读取这些消息。默认情况下,它选择读取/proc方式实现。不管哪种方式, ...
分类:
系统相关 时间:
2018-05-24 23:06:54
阅读次数:
510
Logstash基本介绍和使用场景 自我认为:logstash就是日志的采集收集,日志的搬运工,实时去采集日志。读取不同的数据源,并进行过滤,开发者自定义规范输出到目的地。日志的来源很多,如系统日志,应用日志等等(同类软件:filebeat) 官方文档:https://www.elastic.co/ ...
分类:
其他好文 时间:
2018-05-22 17:22:26
阅读次数:
213
随着Docker容器广泛应用,,大规模运行的容器集群来说,日志不能集中管理是一件很痛苦的事情。不能合理的收集,管理检索应用日志,在应用发生了故障的时候将无法很好的追溯问题发生的原因。本文主要介绍Docker配置Fluentd进行日志管理1、快速启动Fluentd# docker run -d -p 24224:24224 -p 24224:24224/udp -v /data:/fluent
分类:
其他好文 时间:
2018-05-03 19:52:49
阅读次数:
553
Azure Linux VM扩大操作系统磁盘空间目前Azure 针对Linux VM提供了增加操作系统磁盘空间的新功能,目前支持的虚拟机主要包括DS, DSV2和FS系列虚拟机。这样有助于帮助客户应用日志保持在SDA文件增加磁盘空间。1. 创建虚拟机的时候选择2. 进入操作系统可以看到磁盘空间已经增... ...
分类:
系统相关 时间:
2018-05-03 14:29:38
阅读次数:
300
在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程: 从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步,从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 ...
分类:
Web程序 时间:
2018-04-27 19:59:48
阅读次数:
277
今年3月份在公司的内部k8s培训会上,开发同事对应用整合进pod提出了几个问题,主要围绕在java应用的日志统一收集、集中存放和javajvm内存监控数据收集相关的点上,本文将介绍使用filebeat实现pod日志的统一收集,集中存放使用集群外的elasticsearch,后续可以加上kibana及模板文件实现更友好的数据展示。一、准备和测试tomcat基础镜像该镜像主要是配置jdk环境变量和to
分类:
其他好文 时间:
2018-04-24 17:42:02
阅读次数:
826
1. filter 2. nat 3. Mangle 常用表的流程只有filter和nat,简化如下: 命令参数详解 table表 >chain 链 >rule 规则 policy [root@lb01 ~]# iptables --help iptables v1.4.7 Usage: iptab ...
分类:
其他好文 时间:
2018-03-07 13:29:37
阅读次数:
1266
Linux——CentOS7.4下最新版Apache2.4.29优化应用之日志管理
分类:
Web程序 时间:
2018-03-06 15:10:23
阅读次数:
254
1.在docker容器和系统时间不一致是因为docker容器的原生时区为0时区,而国内系统为东八区。 2.还有容器中运行的java应用打出的日志时间和通过date -R方式获取的容器标准时间有八个小时时间差。 也就是容器时间和系统时间一致,但是部署的应用和容器时间不一致。Tomcat中部署java应 ...
分类:
编程语言 时间:
2018-03-03 21:29:40
阅读次数:
442
笔记内容:ELK介绍及搭建Elasticsearch分布式集群笔记日期:2018-03-0227.1ELK介绍27.2ELK安装准备工作27.3安装es27.4配置es27.5curl查看es集群情况ELK介绍需求背景:业务发展越来越庞大,服务器越来越多各种访问日志、应用日志、错误日志量越来越多,导致运维人员无法很好的去管理日志开发人员排查问题,需要到服务器上查日志,不方便运营人员需要一些数据,需
分类:
其他好文 时间:
2018-03-02 16:40:48
阅读次数:
235