码迷,mamicode.com
首页 >  
搜索关键字:flume    ( 1090个结果
Flume-ng源码解析之Channel组件
如果还没看过Flume-ng源码解析之启动流程,可以点击Flume-ng源码解析之启动流程查看1接口介绍组件的分析顺序是按照上一篇中启动顺序来分析的,首先是Channel,然后是Sink,最后是Source,在开始看组件源码之前我们先来看一下两个重要的接口,一个是LifecycleAware,另一个是Nam..
分类:Web程序   时间:2017-04-28 23:36:09    阅读次数:268
Spark Streaming
Spark Streaming Spark Streaming类似于Apache Storm,用于流式数据的处理。根据其官方文档介绍,Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitter、Zero ...
分类:其他好文   时间:2017-04-28 10:35:20    阅读次数:186
转:大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
虽然比较久,但是这套架构已经很成熟了,记录一下 一般数据流向,从“数据采集--数据接入--流失计算--数据输出/存储”<ignore_js_op> 1).数据采集 负责从各节点上实时采集数据,选用cloudera的flume来实现 2).数据接入 由于采集数据的速度和数据处理的速度不一定同步,因此添 ...
分类:Web程序   时间:2017-04-27 17:53:35    阅读次数:294
spark笔记
spark笔记big dataspark 比较Hadoop生态圈:MapReduce Hive Storm Yarn Sqoop Flume HDFSSpark它会代替Hadoop:不能,可能会替代MR炒作 社区比较完善hadoop3.0作者:Doug cutting(hadoop以后也要走内存)S... ...
分类:其他好文   时间:2017-04-27 17:48:36    阅读次数:242
不错的技术博客
日月的弯刀博客分类CDH(1)Cookie(1)Flume(2)GOF23设计模式HadoopHBase(4)Hibernate(1)Hive(1)html/css/javascriptJavaEE(18)JavaSE(5)JSP(2)JSTL(1)Kafka(1)MapReduce案例(3)MLl... ...
分类:其他好文   时间:2017-04-25 19:19:27    阅读次数:191
Apache Flume 安装文档、日志收集
简介: 官网 http://flume.apache.org 文档 https://flume.apache.org/FlumeUserGuide.html hadoop 生态系统中,flume 的职责是收集数据,一般用作收集各种日志数据。 Source -> Channel -> Sink 这是一 ...
分类:Web程序   时间:2017-04-25 19:16:13    阅读次数:329
Flume NetCat Demo
准备工作: 1.apache官网下载flume 2.解压flume 3.修改flume-env.sh,配置JAVA_HOME NetCat采集Demo: 1.在conf中创建netcat-logger.conf 2.启动agent采集数据 -c conf 指定flume自身的配置文件所在目录 -f ...
分类:Web程序   时间:2017-04-24 15:48:13    阅读次数:134
自学it18大数据笔记-第二阶段Flume-day2-day3——会持续更新……
写在最前:转行大数据领域,没报班,自学试试,能坚持下来以后就好好做这行,不能就……!准备从现有这套it18的视屏残本开始……自学是痛苦的,发博客和大家分享下学习成果——也是监督自己,督促自己坚持学下去。 (教学视屏是it18做活动送的,视屏不是很全,课堂笔记和源码等课堂相关资料也未放出,但徐培成老师 ...
分类:Web程序   时间:2017-04-24 14:06:15    阅读次数:216
kibana显示elasticsearch集群中flume到入的日志
日志通过flume导入elasticsearch集群见这里:flume 日志导入elasticsearch kibana介绍 kibana主页 kibana是一个功能强大的elasticsearch数据显示client,logstash已经内置了kibana。你也能够单独部署kibana,最新版的k ...
分类:Web程序   时间:2017-04-24 12:25:58    阅读次数:558
自学it18大数据笔记-第二阶段Flume-day1——会持续更新……
写在最前:转行大数据领域,没报班,自学试试,能坚持下来以后就好好做这行,不能就……!准备从现有这套it18的视屏残本开始……自学是痛苦的,发博客和大家分享下学习成果——也是监督自己,督促自己坚持学下去。 (教学视屏是it18做活动送的,视屏不是很全,课堂笔记和源码等课堂相关资料也未放出,但徐培成老师 ...
分类:Web程序   时间:2017-04-23 13:48:38    阅读次数:166
1090条   上一页 1 ... 51 52 53 54 55 ... 109 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!