码迷,mamicode.com
首页 > 其他好文 > 详细

Spark寒假自学第二天

时间:2020-01-27 22:19:21      阅读:85      评论:0      收藏:0      [点我收藏+]

标签:java   包括   class   linux系统   http   pre   ssh   函数式   lin   

首先要配置spark环境:包括linux系统的安装,java,ssh,Hadoop,Scala,spark的安装与环境变量设置。

linux虚拟机、ssh、Hadoop已经安装完毕,Scala,spark还未安装

然后进行java的学习,在以前的学习中java已经学习了一部分,这次还需要继续进行相应的学习。

Hadoop学习:HDFS,MR计算框架,在大三上学期已经初步接触了这方面的内容。在学习中了解到spark也是需要在HDFS上进行数据获取的,学习Hadoop才能知道其不足,明白spark的优势,为什么Hadoop必死。在hdfs的操作指令也必须掌握。要学会写MapReduce程序。
Scala学习:重点明白函数式编程。使用Scala操作RDD。
spark学习:最好学习spark的方式就是看官方文档,读源码,看博客https://www.cnblogs.com/BYRans/p/5057110.html

Spark寒假自学第二天

标签:java   包括   class   linux系统   http   pre   ssh   函数式   lin   

原文地址:https://www.cnblogs.com/jinseliunian/p/12236839.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!