阿里云服务器现象1：查看filebeat日志[tomcat@iZm5e0zxxbin]$tail-n20/var/log/filebeat/filebeat2017-03-01T14:52:25+08:00WARNproducer/broker/0statechangeto[closing]becausedialtcp:lookupiZm5e0zxxon10.2xx.xx.x1x:53:nosuchhost2:另外一台服务器可以看到有topic产生但是..
分类：
其他好文 时间：
2017-03-03 19:38:45
阅读次数：
2084
由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作 ...
分类：
其他好文 时间：
2016-12-20 23:27:54
阅读次数：
938
一、更改日志输出级别 config/log4j.properties中日志的级别设置的是TRACE，在长时间运行过程中产生的日志大小吓人，所以如果没有特殊需求，强烈建议将其更改成INFO级别。具体修改方法如下所示，将config/log4j.properties文件中最后的几行中的TRACE改成IN ...
分类：
其他好文 时间：
2016-12-09 00:39:24
阅读次数：
398
原文地址 以下是消息队列以下的大纲，本文主要介绍消息队列概述，消息队列应用场景和消息中间件示例（电商，日志系统）。 本次分享大纲 消息队列概述 消息队列应用场景 消息中间件示例 JMS消息服务（见第二篇：大型网站架构系列：分布式消息队列（二）） 常用消息队列（见第二篇：大型网站架构系列：分布式消息队 ...
分类：
其他好文 时间：
2016-11-18 22:15:50
阅读次数：
318
1、简介对于日志来说，最常见的需求就是收集、查询、显示，正对应logstash、elasticsearch、kibana的功能。ELK日志系统在系统中，主要可解决的问题：基于日志的数据挖掘问题排查，上线检查根据关键字查询日志详情异常数据自动触发消息通知服务器监控，应用监控，Bug管理统计分..
分类：
其他好文 时间：
2016-09-21 00:14:48
阅读次数：
277
Kafka日志本身是由多个日志段组成(log segment)。一个日志是一个FileMessageSet，它包含了日志数据以及OffsetIndex对象，该对象使用位移来读取日志数据
* borker配置就是指配置server.properties文件 *最小配置通常情况下需要在减压缩kafka后，修改config/server.properties 配置文件中的以下两项log.dirs = k...
分类：
其他好文 时间：
2016-05-30 15:28:01
阅读次数：
234
日志收集之kafka http://www.jianshu.com/p/f78b773ddde5 一、介绍 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能 高吞吐率。即使在非 ...
分类：
其他好文 时间：
2016-04-30 01:04:45
阅读次数：
387
因公司数据安全和分析的需要，故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用：安装，配置过程，使用情况等续一，glusterfs分布式文件系统部署： 说明： 公司想做网站业务日志及系统日志统一收集....
分类：
其他好文 时间：
2015-06-19 23:02:42
阅读次数：
356
最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02 上线过程中有一些环节，觉得还是值的大家注意的比如：1，应用运维和研发人员...
分类：
其他好文 时间：
2015-06-19 22:58:06
阅读次数：
224
Kafka日志包是提供的是日志管理系统。主要的类是LogManager——该类负责处理所有的日志，并根据topic/partition分发日志。它还负责flush策略以及日志保存策略。Kafka日志本身是由多个日志段组成(log segment)。一个日志是一个FileMessageSet，它包含了...
分类：
其他好文 时间：
2015-04-19 10:06:28
阅读次数：
2628
