标签：scala和java二种方式实战spark streaming开发
一、Java方式开发
1、开发前准备：假定您以搭建好了Spark集群。
2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。
3、Spark streaming 基于Spark Core进行计算，需要注意事项：
设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因为Spark Streaming应用程序在运行的时候，至少有一条线程用于不断的循环接收数据，并且至少有一条线程用于处理接收的数据（否则的话无法有线程用于处理数据），随着时间的推移，内存和磁盘都会不堪重负）。
温馨提示：
对于集群而言，每隔exccutor一般肯定不只一个Thread，那对于处理Spark Streaming应用程序而言，每个executor一般分配多少core比较合适？根据我们过去的经验，5个左右的core是最佳的（段子:分配为奇数个core的表现最佳,例如：分配3个、5个、7个core等）
接下来，让我们开始动手写写Java代码吧！
第一步：创建SparkConf对象
第二步：创建SparkStreamingContext
我们采用基于配置文件的方式创建SparkStreamingContext对象：
第三步,创建Spark Streaming输入数据来源:
我们将数据来源配置为本地端口9999（注意端口要求没有被占用），如果是在Windows系统下创建的程序，可以用TCP/UDP发送socket工具进行测试，如果是在Linux系统下创建
Java程序，则可直接采用 nc -lk 9999命令来输入内容进行测试
第四步：我们就像对RDD编程一样，基于DStream进行编程，原因是DStream是RDD产生的模板，在Spark Streaming发生计算前，其实质是把每个Batch的DStream的操作翻译成为了RDD操作。
1、flatMap操作：
2、 mapToPair操作：
3、reduceByKey操作：
4、print等操作：
温馨提示：
除了print()方法将处理后的数据输出之外，还有其他的方法也非常重要，在开发中需要重点掌握，比如SaveAsTextFile,SaveAsHadoopFile等，最为重要的是foreachRDD方法，这个方法可以将数据写入Redis,DB,DashBoard等，甚至可以随意的定义数据放在哪里，功能非常强大。
一、Scala方式开发
第一步，接收数据源：
第二步，flatMap操作：
第三步，map操作：
第四步，reduce操作：
第五步，print()等操作：
第六步：awaitTermination操作
总结：
备注：
资料来源于：DT_大数据梦工厂（IMF传奇行动绝密课程）
更多私密内容，请关注微信公众号：DT_Spark
如果您对大数据Spark感兴趣，可以免费听由王家林老师每天晚上20：00开设的Spark永久免费公开课，地址YY房间号：68917580
Life is short，you need to Spark!
本文出自 “DT_Spark大数据梦工厂” 博客，请务必保留此出处http://18610086859.blog.51cto.com/11484530/1768477
第83课：Scala和Java二种方式实战Spark Streaming开发
标签：scala和java二种方式实战spark streaming开发
原文地址：http://18610086859.blog.51cto.com/11484530/1768477
