由于没具体研究过画图，以前在公司每天都用Excel，所以很多图画都是画在了Excel上再剪切的，看着可能不太舒服。 先来看一下数据走向： 这样我们就大致了解了flume是干嘛的，在什么位置了。 Flume简介： Apache Flume是一个分布式、可信任（事务性）的弹性系统，用于高效收集、汇聚和移 ...
分类：
Web程序 时间：
2019-03-05 09:18:48
阅读次数：
281
原因：checkpoint文件夹，不为空。 解决：设置空的checkpoint文件夹。或删除checkpoint文件夹下的内容。 原因：java堆内存默认20m，数据量大时oom。 解决： export JAVA_OPTS="-Xms2048m -Xmx2048m -Xss256k -Xmn1g - ...
分类：
Web程序 时间：
2019-03-04 17:04:28
阅读次数：
359
本文由云+社区发表 作者：皮皮熊 概述 Apache Flume是一个用于高效地从大量异构数据源收集、聚合、传输到一个集中式数据存储的分布式、高可靠、高可用的系统。 Apache Flume是Apache基金会的顶级项目。现在有两个代码版本线可以获取:0.9.x和1.x。本文档对应的是1.x版本。 ...
分类：
Web程序 时间：
2019-03-01 12:20:58
阅读次数：
190
首先介绍一下在flume中常用的一个数据格式，以及使用该格式的优缺点： 从flume写数据到hdfs中的时候，使用二进制格式相对于使用纯文本来说是一种更好的选择，因为大多数二进制格式都有一些方法指明记录中损坏或者不完整等的问题。 二进制记录有助于检测他们并将这些不正确的记录进行忽略，例如flume中 ...
分类：
Web程序 时间：
2019-02-27 01:21:18
阅读次数：
193
传输文件到hadoop，从日志收集服务器 虽然这些scp就能完成，但是，scp怎么保证任务中断，负载均衡，状态查看。。。 flume能帮你做到这些，好强大啊，这个框架 ...
分类：
Web程序 时间：
2019-02-27 01:02:38
阅读次数：
373
一、agent 第一步是定义agent(代理)及agent下的sources、channels、sinks的简称，如下： a1.sources = r1 a1.sinks = k1 a1.channels = c1 二、sources 第二步是定义sources(接收数据源)，以下是常见的sourc ...
分类：
Web程序 时间：
2019-02-24 12:11:44
阅读次数：
244
一、Flume概述 Flume是一种分布式、可靠且可用的服务，用于有效的收集、聚合和移动大量日志文件数据。Flume具有基于流数据流的简单灵活的框架，具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错能力。Flume使用简单的的可扩展数据模型，循环在线分析应用程序。 二、Flume的作用 ...
分类：
Web程序 时间：
2019-02-23 20:42:34
阅读次数：
193
2019/2/22星期五flume案例支持flume的部署类型//参考链接为https://www.cnblogs.com/qingyunzong/p/8994494.html1、单一流程2、多代理流程（多个agent顺序链接）不推荐有一段失败则整个event事件失败3、流的合并（多个Agent的数据汇聚到同一个Agent）//应用场景广泛4、多路复用流（多级流）//Flume还支持多级流，什么多
分类：
Web程序 时间：
2019-02-22 19:59:12
阅读次数：
224
概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 主要作用：实时读取服务器本地磁盘数据，将数据写入HDFS； 优点： Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到 ...
分类：
Web程序 时间：
2019-02-22 00:35:29
阅读次数：
222
1 错误详细信息 2 错误原因 配置文件写错了 3 正确应该是配置c2 也就是channel 4 完整的配置文件 ...
分类：
Web程序 时间：
2019-02-21 17:26:13
阅读次数：
139
