标签：mes   conf   under   sockets   举例   目录   env   div   clip   

逐个运行例子，查看结果

举例说明HADOOP_HOME环境变量

org.apache.spark.examples.sql.hive.JavaSparkHiveExample

修改Run Configuration,添加Env HADOOP_HOME=${HADOOP_HOME}

下面用简单的方法逐个运行

eclipse ->File->Import->Run/Debug Launch Configuration

浏览到easy_dev_labs\runconfig目录。导入全部。

现在从Eclipse->Run->Run Configuration

从JavaConsumerReceiver开始，逐个往下运行。凡是没有写出来的，都是直接运行即可。

运行JavaconsumerReceiver前，先要运行SocketServer。

JavaDirectKafkaWordCount：先要运行KafkaSvr。 运行kfksvr后，去掉kafka的maven依赖，然后运行JavaDirectKafkaWordCount。做完这个例子后加上kafka到maven中。

JavaNetworkWordCount依赖SocketServer

JavaFlumeEventCount先运行，而后运行FlumeSvr。

此后SocketSvr,FlumeSvr,KafkaSvr都开着，无需关掉。

JavaKafkaWordCount依赖KafkaSvr。用原始pom文件即可。

JavaRecoverableNetworkWordCount依赖SocketServer

JavaSqlNetworkWordCount依赖SocketServer

随后可以看看这些例子的官方说明，了解例子中各个代码段的含义。

https://spark.apache.org/examples.html

spark在eclipse下V2-02逐个运行spark-examples

标签：mes   conf   under   sockets   举例   目录   env   div   clip   

原文地址：http://www.cnblogs.com/wifi0/p/7800171.html