对于日志收集统计分析方案现在主流的有ELKrediskafkaflume+大数据平台，ELK我们以后再介绍，这里先简单介绍下rsyslog对接kafkakafka中的术语BrokerKafka集群包含一个或多个服务器，这种服务器被称为brokerTopic每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（..
分类：
其他好文 时间：
2017-02-13 14:20:27
阅读次数：
876
1.接入系统采用监听器方式 model对象 service 操作日志 属性文件工具类 远程接口请求http工具类 阿里json封装类 属性文件配置log.properties web.xml中配置 2.服务器端就是简单的单表操作.不做记录 ...
分类：
编程语言 时间：
2017-02-07 18:49:06
阅读次数：
292
整理一下今年做的事情： 工作： 1. IM通讯平台 完全基于Erlang重新设计、从头开始编写。主要功能，多终端消息、已读未读、历史记录完全同步，富文本，好友关系，群组、讨论组，二人、多人音视频。实现灵活自动化部署、日志收集分析、监控报警，全用例覆盖自动化测试脚本。 投入了120%的精力。SDK部分 ...
分类：
其他好文 时间：
2017-01-01 07:49:02
阅读次数：
229
III26ELKELK（elasticsearch、logstash、kibana）ElasticStack是原ELKStack在5.0版本加入Beats套件后的新称呼解决痛点：开发人员不能登录线上server查看详细日志；各个系统都有日志，日志数据分散难以查找；日志数据量大，查询速度慢，或数据不够实时；一个调用会涉及多个系统..
分类：
其他好文 时间：
2016-12-30 22:26:49
阅读次数：
578
前言：首先awk是一门语言，其次跟其他语言相比，awk的优势是在文本处理、数值计算等方面，在我们日常的运维工作中，awk还有1个很重要的场景是配合sed、grep的使用，正是因为这些，awk是运维工程师最常用的工具之一，下面记录一下，awk在日志收集、统计场景的一些最常用的姿势。..
分类：
其他好文 时间：
2016-12-26 14:29:06
阅读次数：
997
ElasticSearch存储和搜索LogStash对日志收集Kibana展示
分类：
其他好文 时间：
2016-11-30 23:20:34
阅读次数：
195
ELK是日志收益与分析的利器。 1、elasticsearch集群搭建 略 2、logstash日志收集 我这里的实现分如下2步，中间用redis队列做缓冲，可以有效的避免es压力过大： 1、n个agent对n个服务的log做日志收集(1对1的方式)，从日志文件解析数据，存入broker，这里用的是 ...
分类：
其他好文 时间：
2016-11-11 14:08:34
阅读次数：
213
Flume作为日志收集工具，监控一个文件目录或者一个文件，当有新数据加入时，采集新数据发送给消息队列等。 1 安装部署Flume 若要采集数据节点的本地数据，每个节点都需要安装一个Flume工具，用来做数据采集。 1.1 下载并安装 到官网去下载最新版本的Flume 下载地址为：http://flu ...
分类：
Web程序 时间：
2016-11-02 17:54:55
阅读次数：
357
from:http://www.cnblogs.com/oubo/archive/2012/05/25/2517751.html Flume日志收集 一、Flume介绍 一、Flume介绍 一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方 ...
分类：
Web程序 时间：
2016-10-27 19:43:51
阅读次数：
272
查看日志一直都是一个很困扰的问题，登录到服务器上查看几百兆的txt文件，从中找到某个问题可能会留下的日志记录...... 尤其是现在，在集群式部署的服务器原来越多的时候，找到一个异常记录几乎要翻遍每一台服务器，想想就崩溃了！这个时候就特别希望能有一个集中查看日志的方案来拯救我。 曾经找到一个名为lo ...
分类：
其他好文 时间：
2016-10-14 23:24:22
阅读次数：
282
