背景：系统的数据量越来越大，日志不能再简单的文件的保存，如此日志将会越来越大，也不方便查找与分析，综合考虑下使用了flume来收集日志，收集日志后向kafka传递消息，下面给出具体的配置 启动方式： bin/flume-ng agent --conf conf --conf-file conf/ka ...
分类：
Web程序 时间：
2017-08-31 00:59:03
阅读次数：
274
Flume NG集群+Kafka集群整合： 修改Flume配置文件（flume-kafka-server.conf），让Sink连上Kafka hadoop1: hadoop2: 集群测试： hadoop3： hadoop1： 测试完毕，这样Flume+kafka就整合起来了，即Flume+Kafk ...
分类：
Web程序 时间：
2017-08-27 14:06:04
阅读次数：
298
Flume NG高可用集群搭建： 架构总图： 架构分配： 角色 Host 端口 agent1 hadoop3 52020 collector1 hadoop1 52020 collector2 hadoop2 52020 agent1配置(flume-client.conf)： collector1 ...
分类：
Web程序 时间：
2017-08-26 19:40:56
阅读次数：
373
Flume NG概述： Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。其中Agent包含Source，Channel和 Sink，三者组建了一个Agent。三者的职责 ...
分类：
Web程序 时间：
2017-08-26 17:01:20
阅读次数：
246
Flume协作框架 Flume协作框架 1.概述 -》flume的三大功能 collecting, aggregating, and moving 收集 聚合 移动 2.框图 3.架构特点 -》on streaming data flows 基于流式的数据 数据流：job-》不断获取数据 任务流：j ...
分类：
Web程序 时间：
2017-08-23 00:40:34
阅读次数：
209
nginx常见日志收集及分析工具有rsyslog,awstats,flume,elk,storm等1nginxlocation作用：location指令的作用是可以根据用户请求的URL来执行不同的应用，就是根据用户请求的网站地址URL匹配，匹配成功即进行相关的操作。2location语法location[=|`||`*|][root@web01scripts]#cd/a..
分类：
其他好文 时间：
2017-08-22 10:49:35
阅读次数：
234
Apache Flume是一个分布式的、可靠的、高效的日志数据收集组件；我们通常使用Flume将分散在集群中多个Servers的log文件，汇集到中央式的数据平台中，以解决“从离散的日志文件中查看、统计数据困难”的问题。当然，Flume不仅仅可以收集log文件，它也支持比如TCP、UDP等消息数据的 ...
分类：
Web程序 时间：
2017-08-18 20:02:46
阅读次数：
177
spark-streaming与flume整合 push http://spark.apache.org/docs/1.6.3/streaming-flume-integration.html ...
分类：
Web程序 时间：
2017-08-14 14:16:21
阅读次数：
301
Hadoop家族学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Ooz ...
分类：
其他好文 时间：
2017-08-09 12:53:05
阅读次数：
232
概述 Spark Streaming 支持多种实时输入源数据的读取，其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业务场景，只关注Spark Streaming读取Kafka数据的方式。 S ...
分类：
其他好文 时间：
2017-08-08 15:17:44
阅读次数：
410
