Spark 安装配置与示例 Spark，它是大规模数据处理通用的并行化计算框架，基于MapReduce实现分布式计算，其中间结果可以保存在内存中，从而不再需要读写HDFS。Spark 是 Scala 语言实现的， Scala 也被用作其应用程序框架,Spark 和 Scala 能够紧密集成，Scal ...
分类：
其他好文 时间：
2018-01-29 19:14:52
阅读次数：
211
最近开发spark项目使用到scala语言，这里介绍如何在idea上使用sbt来编译项目。 开发环境：windows 1. 下载sbt http://www.scala-sbt.org/download.html 我使用的是zip包，下载后解压到d:\tool\目录 2.添加配置 2.1 打开D:\ ...
本文讲解Spark流数据处理之Spark Streaming。本文的写作时值Spark 1.6.2发布之际，Spark 2.0预览版也已发布，Spark发展如此迅速，请随时关注Spark Streaming官方文档以了解最新信息。 文中对Spark Streaming的讲解主要使用到Scala语言， ...
分类：
其他好文 时间：
2017-10-11 18:11:46
阅读次数：
130
1、Maven管理项目在JavaEE普遍使用，开发Spark项目也不例外，而Scala语言开发Spark项目的首选。因此需要构建Maven-Scala项目来开发Spark项目，本文采用的工具是IntelliJ IDEA 2016，IDEA工具越来越被大家认可，开发java, python ,scal ...
分类：
编程语言 时间：
2017-09-28 16:47:48
阅读次数：
194
函数式编程进阶 1、函数和变量一样作为Scala语言的一等公民，函数可以直接复制给变量； 2、函数更长用的方式是匿名函数，定义的时候只需要说明输入参数的类型和函数体即可，不需要名称，但是匿名函数赋值给一个变量（其实是val常量），Spark源码中大量存在这种语法； 3、函数可以作为参数直接传递给函数 ...
分类：
其他好文 时间：
2017-09-10 15:46:19
阅读次数：
120
在本系列的第一篇文章 《使用递归的方式去思考》中，作者并没有首先介绍 Scala 的语法，这样做有两个原因：一是由于过多的陷入语法的细节其中，会分散读者的注意力。反而忽略了对于基本概念，基本思想的理解。二是由于 Scala 语法非常简洁，拥有其它语言编程经验的程序猿非常easy读懂 Scala 代码 ...
分类：
编程语言 时间：
2017-08-18 21:27:14
阅读次数：
255
首先，marathon源码是由scala语言编写，由sbt进行项目构建的；与spark不同，spark是由maven进行项目构建；方案一：使用intellijidea导入marathon源码【目前不可行】A、使用intellijidea导入marathon源码B、更新源码C、利用intellijidea进行编译，打包D、上传服务器上，替换$mar..
分类：
其他好文 时间：
2017-08-08 12:23:50
阅读次数：
168
路线图介绍: 本课程对大数据生态系统进行全方位讲解，有hadoop实操与底层原理应用，DFS与MapRedcue的全新解读，内含有全网独家发布的YARN调度框架的底层事件二次分发机制和Google源码级IPC和RPC的通信技术原理与报文字节码级别的协议分析，Scala语言的编程技巧与java语言的互 ...
分类：
其他好文 时间：
2017-07-29 19:32:49
阅读次数：
165
