spark的udf和udaf的注册 一、udf 二、udaf 1. 弱类型的自定义聚合函数 是不安全的 1. 强类型的自定义聚合函数 程序运行时候会检查数据的类型，是安全的 ...
分类：
其他好文 时间：
2020-02-12 22:10:58
阅读次数：
135
实验2-Scala编程初级实践-题目-厦门大学-林子雨-Spark编程基础（Scala版） 模拟图形绘制 对于一个图形绘制程序，用下面的层次对各种实体进行抽象。定义一个 Drawable 的特质，其包括一个 draw 方法，默认实现为输出对象的字符串表示。定义一个 Point 类表示点，其混入了 D ...
分类：
其他好文 时间：
2020-02-12 22:04:19
阅读次数：
62
一、内部类 定义：实现一个抽象类 或者 Trait 时 可以通过内部类的方式完成 1 abstract class Cmx { 2 def func: Unit 3 4 } 5 6 def main(args: Array[String]): Unit = { 7 var cmx = new Cmx ...
分类：
其他好文 时间：
2020-02-12 20:30:05
阅读次数：
68
要用面向对象的方式去编程，而不要用面向过程的方式去编程 对象是各种类型的数据的集合，可以是数字、字符串、数组、函数、对象…… 对象中的内容以键值对方式进行存储 对象要赋值给一个变量 var cat={ "name":"喵1", "age":4, "family":["喵爸","喵妈"], "spea ...
分类：
Web程序 时间：
2020-02-12 20:29:24
阅读次数：
79
问题：调用readDouble方法是，需要输入一个double值，但是屏幕上看不到输入的double值 解决方法： 安装 rlwrap brew search rlwrap，查询mac的brew包管理器中是否有 rlwrap，搜到之后，执行： brew install rlwrap，安装完成后执行： ...
分类：
其他好文 时间：
2020-02-11 11:25:28
阅读次数：
329
trait调用链 Scala 中支持让类继承多个 trait 后，依次调用多个 trait 中的同一个方法，只要让多个 trait 的同一个方法中，在最后都执行 方法即可 类中调用多个 trait 中都有的这个方法时，首先会从最右边的 trait 的方法开始执行，然后依次往左执行，形成一个调用链条 ...
分类：
其他好文 时间：
2020-02-11 00:32:56
阅读次数：
67
摘要：实验二 Scala编程初级实践 一、实验目的 1.掌握 Scala 语言的基本语法、数据结构和控制结构； 2.掌握面向对象编程的基础知识，能够编写自定义类和特质； 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构，熟练使用常用的容器类进行数据； ...
分类：
其他好文 时间：
2020-02-11 00:04:38
阅读次数：
108
今天按照实验三进行了相关的操作，实验三之前的是关于hadoop 以及hdfs的相关命令的使用，也包括Hadoop以及spark的安装，我之前就已经完成了相关环境的配置，所以我今天直接做了实验三中的spark shell命令的一部分，今天编程的部分因为之前理解了scala的一些编程方法所以今天进行的很 ...
分类：
系统相关 时间：
2020-02-10 19:42:49
阅读次数：
94
generator 生成器，生成迭代器的，es6语法。迭代器有next方法，方法执行后需要返回value,done 1.用法 2. ...扩展类数组 和 for...of 原理就是调用 [Symbol.iterator] 生成迭代器 3.async+await原理 ...
分类：
其他好文 时间：
2020-02-10 18:04:50
阅读次数：
68
Kafka是由Apache软件基金会开发的一个高吞吐量的分布式发布订阅消息系统，由Scala和Java编写。官网地址：http://kafka.apache.org 0.基本概念 Broker：Kafka集群包含一个或多个服务器，这种服务器被称为broker。 Topic：每条发布到Kafka集群的 ...
分类：
其他好文 时间：
2020-02-10 13:37:49
阅读次数：
83
