Linux下日志的采集和分析是一个非常重要的工作，一般厂商都会有自己独有的命令，我这边列举下常用的两个Linux厂商的收集命令(RedhatLinux以及SuSeLinux），便于收集后，对系统进行全面分析。1.基于redhat的日志收集[root@openstack-01etc]#sosreport
sosreport(version3.2)
Thi..
分类：
系统相关 时间：
2016-06-03 15:58:22
阅读次数：
216
Flume作为一个日志收集工具，在数据采集方面，展现出了非常强大的能力。...
分类：
Web程序 时间：
2016-06-02 14:56:43
阅读次数：
875
我们将通过包括本文章在内的2-3篇文章的篇幅，利用已经学习过的技术知识向大家介绍事件/日志收集系统的半侵入方案和非侵入式方案。当然中间还会穿插一些新技术的介绍，比如Apache Flume。...
分类：
其他好文 时间：
2016-06-01 00:17:09
阅读次数：
278
前言：Elk主要就是3个软件的组合，主要是elasticsearch搜索引擎，Logstash是一个日志收集日志，kibana实时分析进行展示。[关于日志搜集的软件，如:scribe,flume,heka,logstash,chukwa,fluentd,当然rsyslogrsyslog-ng都可以搜集。关于日志手机后存储软件，如:HDFS,Cassandramong..
分类：
系统相关 时间：
2016-05-27 14:58:51
阅读次数：
856
我们将通过包括本文章在内的2-3篇文章的篇幅，利用已经学习过的技术知识向大家介绍事件/日志收集系统的半侵入方案和非侵入式方案。当然中间还会穿插一些新技术的介绍，比如Apache Flume。...
分类：
其他好文 时间：
2016-05-26 00:00:37
阅读次数：
543
今天老大让我去调研flume+kafka+hdfs日志收集系统，下午就开始搭建相关的环境了。这里只是简单地介绍flume配置文件相关的，其他关于flume的基础知识请查看其他人的博客（有空我会补上） 首先是安装flume，安装方法可以根据官网上的方法来，官网地址为：https://cwiki.apa ...
分类：
Web程序 时间：
2016-05-25 23:55:04
阅读次数：
193
消息队列目前流行的有三种 1. RabbitMQ 2. ActiveMQ 3. Kafka 这三种都非常强大，RabbitMQ目前用的比较多，也比较流行，阿里也在用 ActiveMQ是阿帕奇出品，但是性能上和RMQ相比相对差一些 卡夫卡呢，使用场景不同，不多介绍，主要是用于日志收集方面，结合hado ...
分类：
其他好文 时间：
2016-05-22 15:06:12
阅读次数：
293
我们将通过包括本文章在内的2-3篇文章的篇幅，利用已经学习过的技术知识向大家介绍事件/日志收集系统的半侵入方案和非侵入式方案。当然中间还会穿插一些新技术的介绍，比如Apache Flume。...
分类：
其他好文 时间：
2016-05-19 15:17:51
阅读次数：
416
来自：美团技术博客
http://tech.meituan.com/mt-log-system-arch.html
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。
《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。...
分类：
Web程序 时间：
2016-05-18 19:40:29
阅读次数：
266
一、什么是Flume?
flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版...
分类：
Web程序 时间：
2016-05-18 18:34:59
阅读次数：
259
