接下来要写4篇的进度报告,准备把RDD编程和SparkSQL放在这几天一起弄掉(没回老家的大年三十稍微有些无聊)。 这一篇我想先笼统一下各方面的知识,省的有不理解的地方。 首先是RDD。 作为一个分布式的数据构造,RDD对我来说方法是抽象的,而且一般来说面向我的都是函数式的编程操作,很难体会到RDD ...
分类:
其他好文 时间:
2020-01-24 20:10:05
阅读次数:
101
函数 Go不是一门纯函数式的编程语言,但是函数在Go中是“第一公民”,表现在: 1. 函数是一种类型,函数类型变量可以像其他类型变量一样使用,可以作为其他函数的参数或返回值,也可以直接调用执行。 2. 函数支持多值返回。 3. 支持闭包。 4. 函数支持可变参数。 Go是通过编译成本地代码且基于“堆 ...
分类:
编程语言 时间:
2020-01-24 15:54:08
阅读次数:
63
集合分为Collection和Map两种体系。下面先介绍Collection的集合类的继承树如下图所示 lambda表达式实参为重写接口方法 函数式接口Supplier ConsumerPredicateFunction R apply(T) Stream接口对数据操作 ...
分类:
编程语言 时间:
2020-01-24 00:09:55
阅读次数:
77
边际收益递减规律(报酬递减法则):在技术水平不变的条件下,当把一种可变的生产要素连续地投入到生产中时,最初这种生产要素的增加会使边际产量增加,但当该生产要素的增加超过一定数量之后,继续增加该要素的投入,边际产量开始递减,最终
还会使产量绝对减少。 ...
分类:
其他好文 时间:
2020-01-23 22:52:12
阅读次数:
154
一、实验目的 1.掌握 Scala 语言的基本语法、数据结构和控制结构; 2.掌握面向对象编程的基础知识,能够编写自定义类和特质; 3.掌握函数式编程的基础知识,能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构,熟练使用常用的容器类进行数据; 4.熟练掌握 Scala 的 REPL ...
分类:
其他好文 时间:
2020-01-23 22:28:59
阅读次数:
170
纯函数: 定义: 对于相同的输入永远会得到相同的输出,而且没有任何可以观察的副作用,也不依赖外部的环境状态。 例如数学公式: y=f(x) 在javascript中,对于数组的操作,有的是纯的,有的是不存的,如: let arr = [1,2,3,4,5]; // 纯函数 arr.slice(0,3 ...
分类:
其他好文 时间:
2020-01-23 18:28:27
阅读次数:
92
Stream方法介绍ListMapArrayoptionallamda常用方法toc Stream Java8 Stream 使用的是函数式编程模式,如同它的名字一样,它可以被用来对集合进行链状流式的操作。 方法介绍 #filter():对流的元素过滤 List collect1 = data.st... ...
分类:
编程语言 时间:
2020-01-23 09:43:29
阅读次数:
80
使用 java.util.function.Predicate 函数式接口以及 lambda 表达式,可以向 API 方法添加逻辑。用更少的代码支持更多动态行为。 下面的例子用Predicate接口做的过滤。 package com.mytest; import java.util.Arrays; ...
分类:
其他好文 时间:
2020-01-22 16:01:44
阅读次数:
71
日期: 2020-01-22 1.概述和安装 Scala是“可扩展语言”的缩写(SCAlable Language),与2003创建,为JVM平台上的函数式编程以及面向对象编程提供一个高性能开发环境。所以,Scala要求使用java运行时库。 在mac环境使用HomeBrew来安装scala比较方便 ...
分类:
其他好文 时间:
2020-01-22 11:09:22
阅读次数:
93
Oracle 公司于 2014 年 3 月 18 日发布 Java 8 ,距离现在已经有很长一段时间了,Java10也在2018年 3月 21日正式发布,并且Oracle宣布Java 语言将每隔 6 个月提供一次更新。Java语言不断更新迭代,然而很多Java程序员缺没有跟上技术更新的步伐!所以写下 ...
分类:
编程语言 时间:
2020-01-20 00:27:50
阅读次数:
122