从以上截图信息，就可以看出问题了，服务端和客户端连接信息对不上，服务端有很多ESTABLISHED的连接，其实是无用的。这种情况，起初，我也很奇怪，没有发现原因，只能查看日志了。
通过日志信息，发现出现了异常，但是很奇怪，在异常信息之前，有一句Rpc sink {} closing Rpc client: {}
这里destroyConnection了，摧毁了一...
分类：
Web程序 时间：
2015-05-12 13:43:45
阅读次数：
209
一、FLUME介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三...
分类：
Web程序 时间：
2015-05-11 17:46:59
阅读次数：
213
在上家公司工作时，设计的日志收集与实时分析架构，还是比较简单的:flume-ng+rocketmq+storm+redis+前端展示消息队列部分，我们刚开始采用的是kafka，但kafka在支持回溯消费和重复消费方面比较弱，同时在数据安全方面也相对弱一些，后来我们改为阿里的rocketmq。考虑到我们的数..
分类：
其他好文 时间：
2015-05-09 20:31:03
阅读次数：
1639
# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure t...
分类：
Web程序 时间：
2015-05-07 21:55:30
阅读次数：
140
常用的分布式日志收集系统：Apache Flume、Facebook Scribe、Apache Chukwa1、Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation）...
分类：
Web程序 时间：
2015-05-07 16:30:07
阅读次数：
248
标题是不是可以翻译成这样：logstashFiltersnginxaccesslog好了，进入正题，日志管理服务器我用ElasticSearch+LogStash+Kibana+Redis先说下我的架构：远程NGINX采集日志数据到REDIS+logstash+elasticsearch+kibana服务器至于怎么部署，因本人之前用baidu博客写在那上面了，以后..
分类：
其他好文 时间：
2015-05-07 01:08:56
阅读次数：
187
org.apache.flume.source.SpoolDirectorySource是flume的一个经常使用的source，这个源支持从磁盘中某目录获取文件数据。不同于其它异步源，这个源可以避免重新启动或者发送失败后数据丢失。flume可以监控目录，当出现新文件时会读取该文件并获取数据...
分类：
编程语言 时间：
2015-05-05 12:21:04
阅读次数：
468
Flume-ngFlume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html官方的英文文档 介绍的比较全面。 不过这里写写自己的见解这个是flume的架构图从上图可以看到几个名词...
分类：
Web程序 时间：
2015-05-02 01:01:18
阅读次数：
348
mysql日志：二进制日志，错误日志，和查询日志。...
分类：
数据库 时间：
2015-05-01 13:29:29
阅读次数：
163
