日志采集异常，生产报错误日志： (org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run:280) - FATAL: Spool Directory source spool_source: { spoolDir ...
分类：
Web程序 时间：
2018-03-14 17:00:11
阅读次数：
1091
欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！ 一、Flume的介绍： Flume由Cloudera公司开发，是一种提供高可用、高可靠、分布式海量日志采集、聚合和传输的系统，Flume支持在日志系 ...
分类：
Web程序 时间：
2018-03-04 19:01:17
阅读次数：
197
周梁伟 网易云信系统架构师 2011年加入网易，负责云信IM平台的架构设计和服务器研发团队，曾先后参与了云存储系统、日志采集平台、通用网站数据分析平台、易信后台等基础平台和产品系统的功能设计和开发 也从事过HBase集群运维、数据统计分析等大数据相关工作，对大数据技术在线上产品中的 应用具有一定的实 ...
分类：
其他好文 时间：
2018-01-27 21:14:25
阅读次数：
186
我们听过无数的道理,却仍旧过不好这一生。额，我说的是技术！ 《分布式服务框架原理与实践》这本书，一直在讲一些大道理，和具体的业务和我本身的工作已经没多大关系了。但是，不管怎么样，还得总结下吧。别人的道理，并不是自己的道理！自己的的道理才是硬道理，哪怕是烂道理！ 个人觉得这本书讲得太宽泛，或者说讲得不 ...
分类：
其他好文 时间：
2018-01-15 00:18:48
阅读次数：
150
需求背景一位朋友的公司研发最近有一些苦恼。由于他们公司的后台服务有三台，每当后台服务运行异常，需要看日志排查错误的时候，都必须开启3个ssh端口进行查看，研发们觉得很不方便，于是便有了统一日志收集与查看的需求。这里，我用ELK集群，通过收集三台后台服务的日志，再统一进行日志展示，实现了这一需求。当然，当前只是进行了简单的日志采集，如果后期相对某些日志字段进行分析，则可以通过logstash以及Ki
分类：
其他好文 时间：
2018-01-02 11:27:17
阅读次数：
142
这里使用elasticsearch做全文检索，不是ELK日志采集。 elasticsearch作为全文检索，必须服务端和客服端的版本一致，所以在安装elasticsearch时，要注意版本问题。 前言 一、JAVA环境配置 ElasticSearch是基于lucence开发的，也就是运行需要java ...
分类：
系统相关 时间：
2017-12-22 22:53:07
阅读次数：
429
最近使用filebeat进行日志采集，并通过logstash对日志进行格式化处理。 filebeat采集数据后，会给日志增加字段@timestamp，@timestamp是UTC时间，查看日志很不方便。 从网上找到了解决办法【http://blog.51cto.com/11067470/172987 ...
分类：
其他好文 时间：
2017-12-15 18:58:33
阅读次数：
1528
Apache Flume概述 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 支持定制各类数据发送方，用于收集各类型数据；同时，Flume 提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。一般的采集需求，通过对 flu ...
分类：
Web程序 时间：
2017-12-08 23:58:12
阅读次数：
358
怎样算是理解了一套MQ中间件呢？原来一知半解的我列了几个维度：demo跑起来，理解其投递次数的语义，理解其事务的特性等等。这是一种角度，但总有种看山不是山的一知半解的感觉。再问一层，比如为什么Kafka吞吐量远胜于其他中间件，为什么说适合日志采集和流式计算的场景？就回答不上来了。学习终归是个积累的过 ...
分类：
其他好文 时间：
2017-12-05 00:54:24
阅读次数：
658
前言 在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 1. 日志采集框架Flume 1.1 Flume介绍 1.1.1 概 ...
分类：
Web程序 时间：
2017-12-01 17:42:24
阅读次数：
292
