一、Scala中有方法和函数俩种技术 1.方法 定义：def 方法名(参数名：参数类型，参数名：参数类型):[返回值类型] = { 方法体 } e.g： 1 def test1(): Unit = { 2 println("我是一个方法") 3 } 4 //return需要同返回值类型一起使用，不可 ...
分类：
其他好文 时间：
2020-02-05 20:43:16
阅读次数：
75
今天完成了实验任务三，主要学习了其中的Spark读取文件系统的数据。 在 spark-shell 中读取HDFS 系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数； scala>val textFile=sc.textFile("hdfs: ...
分类：
其他好文 时间：
2020-02-05 13:41:27
阅读次数：
70
今天进行了Spark的安装。 1.1 下载安装包进入Scala下载页面，下拉，找到tgz包 右击，复制链接如下https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz在master的命令行中输入：wget https://down ...
分类：
其他好文 时间：
2020-02-05 00:00:07
阅读次数：
97
vim ./sparkapp/src/main/scala/SimpleApp.scala #在 ./sparkapp/src/main/scala 下建立一个名为 SimpleApp.scala 的文件，并添加如下代码 /* SimpleApp.scala */import org.apache. ...
分类：
其他好文 时间：
2020-02-04 23:42:21
阅读次数：
90
1.spark中partition的概念partition是RDD的最小单元，是盛放文件的盒子，一个文件可能需要多个partition，但是一个partition只能存放一个文件中的内容，partition是spark计算中，生成的数据在计算空间内最小单元，2.fileWriter.flush()f ...
分类：
其他好文 时间：
2020-02-04 20:10:54
阅读次数：
81
在Scala中，主函数的定义是def main(args: Array[String])，Scala中必须使用对象方法 1、变量： Scala中的变量分为两种var和val。 例如：def main(args: Array[String]):Unit = { val x = 1 x = 2 } 这样 ...
分类：
其他好文 时间：
2020-02-04 18:53:45
阅读次数：
68
写入文本文件： Scala需要使用java.io.PrintWriter实现把数据写入到文本文件。 采用相对路径时，当使用用户名hadoop登录Linux系统，打开Scala解释器进入命令提示符状态后，输入以下代码: scala> import java.io.PrintWriter import ...
分类：
其他好文 时间：
2020-02-04 15:54:31
阅读次数：
87
1. 简而言之，数组定义在函数中时，占用的内存来自栈空间，栈空间是在进程创建时初始化的，有固定的大小，一般很小，所以太大的数组会耗光栈空间。全局变量一般分配在数据段，可以比较大。 2.BBS段、数据段、代码段、堆与栈及5大内存分配 BSS段(Block Started by Symbol)： BSS ...
分类：
编程语言 时间：
2020-02-04 10:30:37
阅读次数：
97
题目： 对于一个图形绘制程序，用下面的层次对各种实体进行抽象。定义一个 Drawable 的特 质，其包括一个 draw 方法，默认实现为输出对象的字符串表示。定义一个 Point 类表示点， 其混入了 Drawable 特质，并包含一个 shift 方法，用于移动点。所有图形实体的抽象类为 Sha ...
分类：
其他好文 时间：
2020-02-03 22:54:40
阅读次数：
201
Scala方法与函数 Scala方法的定义 有参方法 无参方法 def fun (a: Int , b: Int ) : Unit = { println(a+b) } fun(1,1) def fun1 (a : Int , b : Int)= a+b println(fun1(1,2)) 注意点 ...
分类：
其他好文 时间：
2020-02-03 22:41:34
阅读次数：
73
