vim ./sparkapp/src/main/scala/SimpleApp.scala #在 ./sparkapp/src/main/scala 下建立一个名为 SimpleApp.scala 的文件，并添加如下代码 /* SimpleApp.scala */import org.apache. ...
分类：
其他好文 时间：
2020-02-04 23:42:21
阅读次数：
90
1.spark中partition的概念partition是RDD的最小单元，是盛放文件的盒子，一个文件可能需要多个partition，但是一个partition只能存放一个文件中的内容，partition是spark计算中，生成的数据在计算空间内最小单元，2.fileWriter.flush()f ...
分类：
其他好文 时间：
2020-02-04 20:10:54
阅读次数：
81
在Scala中，主函数的定义是def main(args: Array[String])，Scala中必须使用对象方法 1、变量： Scala中的变量分为两种var和val。 例如：def main(args: Array[String]):Unit = { val x = 1 x = 2 } 这样 ...
分类：
其他好文 时间：
2020-02-04 18:53:45
阅读次数：
68
写入文本文件： Scala需要使用java.io.PrintWriter实现把数据写入到文本文件。 采用相对路径时，当使用用户名hadoop登录Linux系统，打开Scala解释器进入命令提示符状态后，输入以下代码: scala> import java.io.PrintWriter import ...
分类：
其他好文 时间：
2020-02-04 15:54:31
阅读次数：
87
题目： 对于一个图形绘制程序，用下面的层次对各种实体进行抽象。定义一个 Drawable 的特 质，其包括一个 draw 方法，默认实现为输出对象的字符串表示。定义一个 Point 类表示点， 其混入了 Drawable 特质，并包含一个 shift 方法，用于移动点。所有图形实体的抽象类为 Sha ...
分类：
其他好文 时间：
2020-02-03 22:54:40
阅读次数：
201
Scala方法与函数 Scala方法的定义 有参方法 无参方法 def fun (a: Int , b: Int ) : Unit = { println(a+b) } fun(1,1) def fun1 (a : Int , b : Int)= a+b println(fun1(1,2)) 注意点 ...
分类：
其他好文 时间：
2020-02-03 22:41:34
阅读次数：
73
今天你完成实验四前两个实验。但是！！！在跟eclipse的scala插件做斗争的时候，把hadoop的插件给搞没了，按着林子雨老师的教程走了一遍还是不行，不知不觉又搞了一下午，还是没解决。明天把实验四完成，做一些实验五，希望明天可以把eclipse的问题解决。 1．spark-shell 交互式编程 ...
分类：
其他好文 时间：
2020-02-03 22:31:42
阅读次数：
159
scala统计学生成绩 学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名 1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开 Id gender Math English Physics 301610 male 80 64 78 301611 fem ...
分类：
其他好文 时间：
2020-02-03 20:50:30
阅读次数：
834
学习于大数据原理与应用 第十六章 Spark 学习指南 三、独立应用程序编程 2.Scala应用程序代码 cd ~ # 进入用户主文件夹 mkdir ./sparkapp # 创建应用程序根目录 mkdir -p ./sparkapp/src/main/scala # 创建所需的文件夹结构 vim ...
分类：
其他好文 时间：
2020-02-03 19:26:17
阅读次数：
78
今天没有继续整数据，这个数据还需要进一步的清洗，很麻烦，暂时不想清洗，今天看了一部分spark的内容，在网上查找了一些资料，明天将使用eclipse连接spark进行编程实验，或者进行数据的清洗。 今天也将数据导入到了数据库中。 ...
分类：
其他好文 时间：
2020-02-03 19:08:28
阅读次数：
48
