码迷,mamicode.com
首页 > Web开发 > 详细

Spark Streaming和Flume集成指南V1.4.1

时间:2015-07-24 09:24:14      阅读:163      评论:0      收藏:0      [点我收藏+]

标签:分布式   spark   集群   

Apache Flume是一个用来有效地收集,聚集和移动大量日志数据的分布式的,有效的服务。这里我们解释一下怎样配置Flume和Spark Streaming来从Flume获取数据。这里有两个方法。

Python API:Flume现在还不支持PythonAPI

 

方法1:Flume风格的推方法

Flume被设计用来在Flume代理之间推送数据。在这种方法中,Spark Streaming本质上设置了一个接收器作为Flume的一个Avro代理,Flume把数据推送到接收器上。下面是配置的步骤。

 

一般需求

在你的集群中选择一台机器满足如下条件:

1.      当你的Flume+Spark Streaming程序启动之后,Spark节点之一必须运行在那台机器上。

2.      Flume可以配置为推送数据到那台机器的端口上。

根据推模型,流程序需要启动,同时接收器按计划运行并监听选择的端口,以让Flume能够推送数据。

 

配置Flume

配置Flume代理来发送数据到一个Avro池,需要在配置文件中加入如下的内容。

agent.sinks = avroSink
agent.sinks.avroSink.type = avro
agent.sinks.avroSink.channel = memoryChannel
agent.sinks.avroSink.hostname = <chosen machine's hostname>
agent.sinks.avroSink.port = <chosen port on the machine>

查看Flume文档来获取更多关于配置Flume代理的信息。


配置Spark Streaming程序

1.连接:在你的SBT/Maven项目定义中,通过下面的内容连接你的流程序(在主编程指南中的连接章节寻找更多的信息)。

groupId = org.apache.spark
artifactId = spark-streaming-flume_2.10
version = 1.4.1

2.编程:在流处理程序的代码中,引入FlumeUtils并如下创建一个输入DStream流。

Scala

importorg.apache.spark.streaming.flume._
val flumeStream = FlumeUtils.createStream(streamingContext, [chosenmachine's hostname], [chosen port])

Java

import org.apache.spark.streaming.flume.*;
JavaReceiverInputDStream<SparkFlumeEvent> flumeStream =
        FlumeUtils.createStream(streamingContext, [chosen machine'shostname], [chosen port]);

查看API文档和示例。

注意,这里的主机名应该和集群中的资源管理器使用的主机名相同(Mesos,YARN或Spark Standalone),这样资源分配可以匹配名字并在正确的机器上启动接收器。

3.部署:将spark-streaming-flume_2.10包和它的依赖(除了由spark-submit提供的spark-core_2.10和spark-streaming_2.10)添加到程序包中。然后使用spark-submit来启动你的应用程序(在主编程指南中查看部署章节)。

 

方法2:使用自定义池的拉方式

不是Flume直接推送数据到SparkStreaming,这种方法运行了一个如下所示的Flume池。

1.      Flume将数据推送到池中,然后数据在此处缓存。

2.      Spark Streaming使用一个可靠的Flume接收器和操作从池中拉取数据。只有在Spark Streaming接收到数据并且把数据复制后才认为操作成功。

这个方法比前面的方法提供了强大的可靠性和容错保证。然而,这需要配置Flume运行一个自定义池。下面是配置步骤。

 

一般需求

选择一台在Flume代理中运行自定义池的机器。Flume其余的管道被配置为向那个代理发送数据。Spark集群中的机器都能连接到运行自定义池的那台机器上。

 

配置Flume

在选定的机器上配置Flume需要如下的两步。

1.池JAR包:添加如下的JAR包到要运行自定义池的机器中的Flume的classpath中(查看Flume的文档https://flume.apache.org/documentation.html)。

         (i)自定义池JAR包:下载与下面内容一致的JAR包(或直接下载的地址https://repo1.maven.org/maven2/org/apache/spark/spark-streaming-flume-sink_2.10/1.4.1/spark-streaming-flume-sink_2.10-1.4.1.jar

        groupId= org.apache.spark
        artifactId =spark-streaming-flume-sink_2.10
        version = 1.4.1

         (ii)Scala库JAR包:下载Scala库2.10.4版本JAR包。它可以用下面的内容找到(或直接在这里下载https://repo1.maven.org/maven2/org/scala-lang/scala-library/2.10.4/scala-library-2.10.4.jar

        groupId= org.scala-lang
        artifactId = scala-library
        version = 2.10.4

         (iii)CommonsLang3 JAR包:下载Commons Lang 3 JAR包。它可以用下面的内容找到(或者直接下载https://repo1.maven.org/maven2/org/apache/commons/commons-lang3/3.3.2/commons-lang3-3.3.2.jar

        groupId= org.apache.commons
        artifactId = commons-lang3
        version = 3.3.2

2.配置文件:在那台机器上,通过下面的配置文件配置Flume代理发送数据到一个Avro池中。

 agent.sinks = spark
 agent.sinks.spark.type =org.apache.spark.streaming.flume.sink.SparkSink
 agent.sinks.spark.hostname = <hostname ofthe local machine>
 agent.sinks.spark.port = <port to listen onfor connection from Spark>
 agent.sinks.spark.channel = memoryChannel

也要确保上行流的Flume管道配置了发送数据到运行这个池的Flume代理。

查看Flume文档寻找更多关于配置Flume代理的信息。

 

配置Spark Streaming程序

1.      连接:在你的SBT/Maven项目定义中,通过下面的内容连接你的流程序(在主编程指南中的连接章节寻找更多的信息http://spark.apache.org/docs/latest/streaming-programming-guide.html#linking

2.      编程:在流处理程序的代码中,引入FlumeUtils并如下创建一个输入DStream流。

Scala

importorg.apache.spark.streaming.flume._
 
val flumeStream =FlumeUtils.createPollingStream(streamingContext, [sink machine hostname], [sinkport])


Java

importorg.apache.spark.streaming.flume.*;
 
JavaReceiverInputDStream<SparkFlumeEvent>flumeStream=
    FlumeUtils.createPollingStream(streamingContext, [sink machinehostname], [sink port]);

查看Scala示例https://github.com/apache/spark/tree/master/examples/src/main/scala/org/apache/spark/examples/streaming/FlumePollingEventCount.scala

注意每个输入DStream可以配置为从多个池中接收数据。

3.      部署:将spark-streaming-flume_2.10包和它的依赖(除了由spark-submit提供的spark-core_2.10和spark-streaming_2.10)添加到程序包中。然后使用spark-submit来启动你的应用程序(在主编程指南中查看部署章节http://spark.apache.org/docs/latest/streaming-programming-guide.html#deploying-applications)。

Spark Streaming和Flume集成指南V1.4.1

标签:分布式   spark   集群   

原文地址:http://blog.csdn.net/sdujava2011/article/details/47035173

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!