flume配置： #DBFile DBFile.sources = sources1 DBFile.sinks = sinks1 DBFile.channels = channels1 # DBFile-DB-Source DBFile.sources.sources1.type = spooldi... ...
分类：
Web程序 时间：
2016-12-03 11:51:21
阅读次数：
449
elk日志分析与挖掘深入分析 1 为什么要做日志采集？ 2 挖财自己的日志采集和分析体系应该怎么建？ 2.1 日志的采集 2.2 日志的汇总与过滤 2.3 日志的存储 2.4 日志的分析与查询 3 需要解决哪些技术问题？ 3.1 logstash与kafka的对接 3.2 kafka到elastic ...
分类：
其他好文 时间：
2016-11-30 14:26:09
阅读次数：
397
Kafka是用于日志处理的分布式消息队列，Kafka使用scala语言开发的。 各个开源分布式处理系统Cloudera、Apache Storm、Spark都支持与Kafka集成。其日志处理的一个场景:Kafka采集日志以后，经过spark分布式计算，将日志数据导入到HBase中。Kafka采集的日 ...
分类：
其他好文 时间：
2016-11-29 21:35:02
阅读次数：
188
系统日志1.系统日志默认分类/var/log/messages##系统服务及日志，包括服务的信息，报错等等/var/log/secure##系统认证信息日志/var/log/maillog##系统邮件服务信息/var/log/cron##系统定时任务信息/var/log/boot.log##系统启动信息2.日志管理服务rsyslog1)rsyslog负责采集日志..
分类：
其他好文 时间：
2016-10-20 00:57:16
阅读次数：
117
第十章系统日志系统默认设置分类/var/log/messages/*系统服务及日志，包括服务的信息，报错等等/var/log/secure/*系统认证信息日志/var/log/maillog/*系统邮件服务信息/var/log/cron/*系统定时任务信息/var/log/boot.log/*系统启动信息日志管理服务1.rsyslog负责采集日志和分类..
分类：
其他好文 时间：
2016-10-19 14:22:51
阅读次数：
262
Log4j 1. 简介 Log4j 是一个使用 Java 语言编写的的日志框架。它按照优先级别记录日志，并可将日志信息定向输出到各种介质，比如数据库、文件、控制台、Unix Syslog等。 Log4j 主要由三部分组成： loggers：负责采集日志信息，并存储于一个分层的命名空间之中。 appe... ...
分类：
其他好文 时间：
2016-04-09 12:20:26
阅读次数：
175
数据采集和DataFlow对于数据采集主要分为三类，即结构化数据库采集，日志和文件采集，网页采集。对于结构化数据库，采用Sqoop是合适的，可以实现结构化数据库中数据并行批量入库到hdfs存储。对于网页采集，前端可以采用Nutch，全文检索采用lucense，而实际数据存储最好是入库到Hbase数据...
分类：
其他好文 时间：
2015-05-30 07:01:49
阅读次数：
205
标题是不是可以翻译成这样：logstashFiltersnginxaccesslog好了，进入正题，日志管理服务器我用ElasticSearch+LogStash+Kibana+Redis先说下我的架构：远程NGINX采集日志数据到REDIS+logstash+elasticsearch+kibana服务器至于怎么部署，因本人之前用baidu博客写在那上面了，以后..
分类：
其他好文 时间：
2015-05-07 01:08:56
阅读次数：
187
一、概述
1、现在有三台机器，分别是：Hadoop1，Hadoop2，Hadoop3，以Hadoop1为日志汇总
2、Hadoop1汇总的同时往多个目标进行输出
3、Flume一个数据源对应多个channel，多个sink，是在consolidation-accepter.conf文件里配置的
二、部署Flume来采集日志和汇总日志
1、在Hadoop1上运行fl...
分类：
Web程序 时间：
2014-10-10 17:10:34
阅读次数：
568
