我现在使用的是librdkafka 的C/C++ 的客户端来生产消息，用flume来辅助处理异常的数据，，， 但是在前段时间，单独使用flume测试的时候发现，flume不能对分区进行负载均衡！同一个集群中，一个broker的一个分区已经有10亿条数据，另外一台的另一个分区只有8亿条数据； 因此，我 ...
分类：
其他好文 时间：
2017-01-22 07:59:18
阅读次数：
2058
使用ApacheFlume抓取数据，怎么来抓取呢？不过，在了解这个问题之前，我们必须明确ApacheFlume是什么？一、什么是ApacheFlumeApacheFlume是用于数据采集的高性能系统，名字来源于原始的近乎实时的日志数据采集工具，现在广泛用于任何流事件数据的采集，支持从很多数据源聚合数..
分类：
Web程序 时间：
2017-01-18 14:18:34
阅读次数：
250
#source的名字 agent.sources = kafkaSource # channels的名字，建议按照type来命名 agent.channels = memoryChannel # sink的名字，建议按照目标来命名 agent.sinks = hdfsSink # 指定source使... ...
分类：
Web程序 时间：
2017-01-14 18:19:20
阅读次数：
617
项目中使用log4j打印的内容同时传输到flume 1、flume端 flume的agent配置内容如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 a1.sources=s1 a1.sinks=k1 a1.channels=c1 a1.sources.s1.ch ...
分类：
其他好文 时间：
2017-01-13 23:37:17
阅读次数：
248
Avro Source 监听avro端口，接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 a1.sources=s1 a1.sinks=k1 a1.channels=c1 a1. ...
分类：
Web程序 时间：
2017-01-13 23:33:38
阅读次数：
368
拦截器作用：拦截器是简单的插件式组件，设置在source和channel之间。source接收到的事件，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 flume修改时间戳的插件见 https://github.co ...
分类：
Web程序 时间：
2017-01-13 22:01:04
阅读次数：
174
1.flume概念 flume是分布式的，可靠的，高可用的，用于对不同来源的大量的日志数据进行有效收集、聚集和移动，并以集中式的数据存储的系统。 flume目前是apache的一个顶级项目。 flume需要java运行环境，要求java1.6以上，推荐java1.7. 将下载好的flume安装包解压 ...
分类：
Web程序 时间：
2017-01-09 23:54:27
阅读次数：
3575
一、负责收集数据的工具：Sqoop（关系型数据导入Hadoop）Flume（日志数据导入Hadoop，支持数据源广泛）Kafka（支持数据源有限，但吞吐大） 二、负责存储数据的工具：HBaseMongoDBCassandraAccumulo MySqlOracleDB2 HDFS（Hadoop Di ...
分类：
其他好文 时间：
2017-01-06 00:07:46
阅读次数：
343
apache-flume重启脚本,apache-flume重启经常性的启动多个进程，杀不干净，就写个重启脚本。#echo-e参数输出为红色，网上可以搜下shell输出带颜色的字体编码很多。catobi-track_restart.sh
#!/bin/bash
pid=`lsof-i:8787|grepjava|awk‘{print$2}‘`
if[-n"${pid}"];then
echo-e"#..
分类：
Web程序 时间：
2017-01-03 17:29:22
阅读次数：
384
转载标明出处：http://www.cnblogs.com/adealjason/p/6240122.html 最近想玩一下流计算，先看了flume的实现原理及源码 源码可以去apache 官网下载 下面整理下flume的原理及代码实现： flume是一个实时数据收集工具，hadoop的生态圈之一， ...
分类：
Web程序 时间：
2016-12-31 20:46:48
阅读次数：
582
