如果还没看过Flume-ng源码解析之启动流程,可以点击Flume-ng源码解析之启动流程查看1接口介绍组件的分析顺序是按照上一篇中启动顺序来分析的,首先是Channel,然后是Sink,最后是Source,在开始看组件源码之前我们先来看一下两个重要的接口,一个是LifecycleAware,另一个是Nam..
分类:
Web程序 时间:
2017-04-28 23:36:09
阅读次数:
268
Spark Streaming Spark Streaming类似于Apache Storm,用于流式数据的处理。根据其官方文档介绍,Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitter、Zero ...
分类:
其他好文 时间:
2017-04-28 10:35:20
阅读次数:
186
虽然比较久,但是这套架构已经很成熟了,记录一下 一般数据流向,从“数据采集--数据接入--流失计算--数据输出/存储”<ignore_js_op> 1).数据采集 负责从各节点上实时采集数据,选用cloudera的flume来实现 2).数据接入 由于采集数据的速度和数据处理的速度不一定同步,因此添 ...
分类:
Web程序 时间:
2017-04-27 17:53:35
阅读次数:
294
spark笔记big dataspark 比较Hadoop生态圈:MapReduce Hive Storm Yarn Sqoop Flume HDFSSpark它会代替Hadoop:不能,可能会替代MR炒作 社区比较完善hadoop3.0作者:Doug cutting(hadoop以后也要走内存)S... ...
分类:
其他好文 时间:
2017-04-27 17:48:36
阅读次数:
242
日月的弯刀博客分类CDH(1)Cookie(1)Flume(2)GOF23设计模式HadoopHBase(4)Hibernate(1)Hive(1)html/css/javascriptJavaEE(18)JavaSE(5)JSP(2)JSTL(1)Kafka(1)MapReduce案例(3)MLl... ...
分类:
其他好文 时间:
2017-04-25 19:19:27
阅读次数:
191
简介: 官网 http://flume.apache.org 文档 https://flume.apache.org/FlumeUserGuide.html hadoop 生态系统中,flume 的职责是收集数据,一般用作收集各种日志数据。 Source -> Channel -> Sink 这是一 ...
分类:
Web程序 时间:
2017-04-25 19:16:13
阅读次数:
329
准备工作: 1.apache官网下载flume 2.解压flume 3.修改flume-env.sh,配置JAVA_HOME NetCat采集Demo: 1.在conf中创建netcat-logger.conf 2.启动agent采集数据 -c conf 指定flume自身的配置文件所在目录 -f ...
分类:
Web程序 时间:
2017-04-24 15:48:13
阅读次数:
134
写在最前:转行大数据领域,没报班,自学试试,能坚持下来以后就好好做这行,不能就……!准备从现有这套it18的视屏残本开始……自学是痛苦的,发博客和大家分享下学习成果——也是监督自己,督促自己坚持学下去。 (教学视屏是it18做活动送的,视屏不是很全,课堂笔记和源码等课堂相关资料也未放出,但徐培成老师 ...
分类:
Web程序 时间:
2017-04-24 14:06:15
阅读次数:
216
日志通过flume导入elasticsearch集群见这里:flume 日志导入elasticsearch kibana介绍 kibana主页 kibana是一个功能强大的elasticsearch数据显示client,logstash已经内置了kibana。你也能够单独部署kibana,最新版的k ...
分类:
Web程序 时间:
2017-04-24 12:25:58
阅读次数:
558
写在最前:转行大数据领域,没报班,自学试试,能坚持下来以后就好好做这行,不能就……!准备从现有这套it18的视屏残本开始……自学是痛苦的,发博客和大家分享下学习成果——也是监督自己,督促自己坚持学下去。 (教学视屏是it18做活动送的,视屏不是很全,课堂笔记和源码等课堂相关资料也未放出,但徐培成老师 ...
分类:
Web程序 时间:
2017-04-23 13:48:38
阅读次数:
166