master做为集合节点 $FLUME_HOME/conf/agent1.conf agent1.channels = ch1 agent1.sources = avro-source1 agent1.sinks = log-sink1 agent1.channels.ch1.type=memory ...
分类：
Web程序 时间：
2019-05-02 09:41:57
阅读次数：
188
十一、Nginx11.1、介绍11.2、常见其他 Web 服务器11.3、版本11.4、Nginx 安装11.5、目录结构11.6、操作命令十二、Mysql12.1、介绍12.2、关系型数据库(SQL)种类12.3、特征12.4、术语12.4、与非关系型数据库比较(Not Only SQL)12.4 ...
分类：
数据库 时间：
2019-04-15 20:11:41
阅读次数：
242
Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存 ...
分类：
其他好文 时间：
2019-04-14 17:44:05
阅读次数：
162
flume 拦截器(interceptor)1、flume拦截器介绍拦截器是简单的插件式组件，设置在source和channel之间。source接收到的事件event，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 ...
分类：
Web程序 时间：
2019-04-02 21:03:11
阅读次数：
203
近期开始接触真正的实时同步，之前接触的SparkStreaming偏重于实时计算，kafka和flume只能算简单的数据同步，如今正式开始做产品化的数据同步项目。特此记录一些知识点。 ...
分类：
其他好文 时间：
2019-03-26 19:35:01
阅读次数：
177
这两天主要是做了中国移动的实时数据分析一个小项目（可以说是demo了），这里记录下来整个过程里面遇到的坑，首先安装好flume，kafka，spark（基于代码本地运行可以不安装），redis，zookeeper 主要是为了熟悉一下整个的一个spark-streaming的一个整个流程，还有就是了解 ...
分类：
移动开发 时间：
2019-03-25 20:27:37
阅读次数：
322
flume sink核心类结构 1 核心接口Sink org.apache.flume.Sink process为核心接口，返回值为状态，只有两个：ready和backoff，调用方会根据返回值做相应处理，后边会看到；这个接口也是扩展flume sink需要实现的接口，比如KuduSink； 2 S ...
分类：
Web程序 时间：
2019-03-21 12:04:24
阅读次数：
272
出现这个错误是自己的粗心大意，解决： 在配置flume-conf.properties文件时，source和channel的对应关系是： myAgentName.sources.mySourceName.channels = myChannelName myAgentName.sinks.mySin ...
分类：
Web程序 时间：
2019-03-17 21:26:02
阅读次数：
195
1、Flume 2、Flume角色 3、flume使用 4、flume安装配置 5、flume监听端口 6、flume监听本地linux文件采集到hdfs 7、监听文件夹 8、多个channel/sink ...
分类：
Web程序 时间：
2019-03-09 19:01:45
阅读次数：
214
[TOC] 本案例参考自阿里云的 "视频直播解决方案之视频核心指标监控" 和 "视频直播解决方案之直播数字化运营" 。 基于Kafka + Flink + ELK + Redis实现视频直播数据的实时处理和可视化。 选型仅仅出于练习考虑，Logstash一般会换成flume或者直接用kafka。 模 ...
分类：
其他好文 时间：
2019-03-06 13:38:35
阅读次数：
182
