flume是一个实时消息收集系统，它定义了多种的source、channel、sink，可以根据实际情况选择。Flume下载及文档：http://flume.apache.org/Kafkakafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的..
分类：
Web程序 时间：
2014-10-22 18:36:34
阅读次数：
338
大家好。 公司有个需求。要求Flumne 从MQ 取消息存储到DFS ，写了Flume自定义的source 。，由于我也是刚接触Flume 。 所以有啥不对的请谅解。 查看了Flume-ng的源码。 一般都是根据不同的场景 extends AbstractSource implements Eve....
分类：
Web程序 时间：
2014-10-21 10:06:25
阅读次数：
593
http://blog.csdn.net/hijk139/article/details/8308224业务系统需要收集监控系统日志，想到了hadoop的flume。经过试验，虽说功能不算足够强大，但基本上能够满足功能需求。Flume 是一个分布式、可靠和高可用的服务日志收集工具，能够和hadoop...
分类：
Web程序 时间：
2014-10-20 17:10:35
阅读次数：
333
Hadoop日志分析系统启动脚本
#!/bin/bash
#Flume日志数据的根目录
root_path=/flume
#Mapreduce处理后的数据目录
process_path=/process
#hive分区时间
partition=`date "+%Y-%m-%d"`
#获取前一小时的时间:/YYYY-MM-DD/HH
file_path=`date -d "1 hour ...
分类：
其他好文 时间：
2014-10-16 19:41:13
阅读次数：
202
apache-flume-1.5.0.1-bin.tar.gz日志接收端1.修改配置文件cp flume-conf.properties.template flume-conf.propertiesvim flume-conf.propertiescollector1.sources = AvroI...
分类：
Web程序 时间：
2014-10-15 23:13:11
阅读次数：
271
最近项目组有需求点击流日志需要自己收集，学习了一下flume并且安装成功了。相关信息记录一下。...
分类：
Web程序 时间：
2014-10-15 20:14:11
阅读次数：
227
解决办法： 在每个新建的类的第一行加入以下内容即可/* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE fi.....
分类：
Web程序 时间：
2014-10-15 13:06:10
阅读次数：
519
SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类似map、reduce、join、window等复杂操作，并将结果保存到外部文件系统、数据库或应用到实时仪表盘。Spark S...
分类：
Web程序 时间：
2014-10-13 22:30:37
阅读次数：
500
kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：
通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。
支持通过kafka服务器和消费机集群来分区消息。
支持H...
分类：
其他好文 时间：
2014-10-13 18:48:06
阅读次数：
165
转：http://blog.chinaunix.net/uid-25135004-id-4172954.html测试kafka producer发送消息 和consumer 接受消息报错 ，kafka版本kafka_2.9.2-0.8.1[root@master ~]# /export/kafka/...
分类：
其他好文 时间：
2014-10-11 18:40:56
阅读次数：
403
