[toc] 使用模式匹配进行类型判断 在实际开发中，比如 spark 的源码中，大量的地方都是使用了模式匹配的方式来进行类型的判断，这种方式更加地简洁明了，而且代码得可维护性和可扩展性也非常的高 使用模式匹配，功能性上来说，与 isInstanceOf 一样，也是判断主要是该类以及该类的子类的对象即 ...
分类：
其他好文 时间：
2020-01-28 10:50:37
阅读次数：
70
一、实验目的 （1）通过实验学习日志采集工具 Flume 的安装和使用方法； （2）掌握采用 Flume 作为 Spark Streaming 数据源的编程方法。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0 Flume 版本：1.7.0 三、实验内容和要求 1.安 ...
分类：
其他好文 时间：
2020-01-27 23:56:31
阅读次数：
256
首先要配置spark环境：包括linux系统的安装，java，ssh，Hadoop，Scala，spark的安装与环境变量设置。 linux虚拟机、ssh、Hadoop已经安装完毕，Scala，spark还未安装 然后进行java的学习，在以前的学习中java已经学习了一部分，这次还需要继续进行相应 ...
分类：
其他好文 时间：
2020-01-27 22:19:21
阅读次数：
85
下载完Spark后，启动spark shell 然后建在了spark自带的本地测试文件，以及简单的RDD操作和退出spark shell 并且下载了 独立应用程序编程 scala独立应用编程 在安装sbt中耗时很长 安装的时候耗时很长，安装完成后 检测sbt不可用，心态爆炸 独立应用程序编程 ...
分类：
其他好文 时间：
2020-01-27 22:16:29
阅读次数：
80
今天主要学习了对spark的初步认识以及相应名词的理解 包括Spark特点、 Scala特性、BDAS架构、Spark组件的应用场景、Spark基本概念、Spark运行架构、 Spark架构设计的优点 、Spark各种概念之间的相互关系 Hadoop 是基于磁盘的大数据计算框架 Spark是基于内存 ...
分类：
其他好文 时间：
2020-01-26 22:32:22
阅读次数：
95
Transformation算子 基本的初始化 （1）java （2）scala map、flatMap、mapParations、mapPartitionsWithIndex map jdk7 map十分容易理解，他是将源JavaRDD的一个一个元素的传入call方法，并经过算法后一个一个的返回从 ...
分类：
其他好文 时间：
2020-01-26 18:56:01
阅读次数：
73
（1）scala与java都有7中数值类型：int、short、long、byte、float、double、boolean这7种，但是scala中这7种值类型是类，在java中属于基本类型，java中，数据类型分成基本类型和引用类型，scala中不区分。（2）scala中的变量或函数的类型总是写在 ...
分类：
编程语言 时间：
2020-01-26 00:48:16
阅读次数：
91
一、实验目的 1.掌握 Scala 语言的基本语法、数据结构和控制结构； 2.掌握面向对象编程的基础知识，能够编写自定义类和特质； 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构，熟练使用常用的容器类进行数据； 4.熟练掌握 Scala 的 REPL ...
分类：
其他好文 时间：
2020-01-23 22:28:59
阅读次数：
170
厦门大学林子雨，赖永炫，陶继平 编著 《Spark 编程基础（Scala 版）》 教材配套 机房上机实验指南 实验 1 Linux 系统的安装和常用命令 （版本号：2018 年 7 月 19 日版本） （题目） 主讲教师：林子雨 厦门大学数据库实验室 二零一八年七月目录 目录 一、实验目的..... ...
分类：
系统相关 时间：
2020-01-23 09:45:51
阅读次数：
181
1. 计算级数请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q为止，其中 q 为大于 0 的整数，其值通过键盘输入。 Sn = 2/1+3/2+4/3+......+n+1/n例如，若 q 的值为 50.0，则输出应为：Sn=50.416695。请将源文件保 ...
分类：
其他好文 时间：
2020-01-22 20:03:48
阅读次数：
165
