Spark2.4新特性概述导读：Spark官方于今年11月份新发布了Spark2.4。那么新版本的Spark都有哪些值得了解的新特性？应对大数据领域的诸多方案，Spark目前是什么样的状况？未来会有怎样的规划？来自ApacheSparkPMC的大牛为我们讲述Spark的进击与挑战。11月23~24日，GIAC全球互联网架构大会将于上海举行。GIAC是高可用架构技术社区推出的面向架构师、技术负责人及
分类：
其他好文 时间：
2020-11-06 00:53:40
阅读次数：
19
GraalVMLTS版正式发布！可用于生产环境，基于JDK11GraalVM是Oracle开源的新一代VM，它打通了不同语言之间的鸿沟，在GraalVM之上，可以编写Java、Python、Ruby、R、Scala、Kotlin，甚至包括C、C++语言，在无需额外成本的前提下允许用户构建多语言应用程序。GraalVM19.3是从项目主线构建的第一个长期支持（LTS）版本。这也是主要功能版本，建议升
分类：
其他好文 时间：
2020-11-04 18:15:34
阅读次数：
17
AKKA是可用于设计跨处理器核心和网络的可伸缩、有弹性的系统的开源库。使用Scala语言编写，是基于Actor模型处理并发，提供了Java和Scala的API。下面总结如何基于SpringBoot搭建hello world项目。 第一步引入依赖， <properties> <akka.version ...
分类：
其他好文 时间：
2020-11-02 10:45:33
阅读次数：
32
Spark源码编译官方文档：https://spark.apache.org/docs/latest/building-spark.html用于编译源码的机器最好满足如下配置：CPU>=4核内存>=8G首先安装好JDK、Scala和Maven，由于安装都比较简单，本文就不演示了，我这里使用的JDK、Scala和Maven版本如下：[root@spark01~]#java-version
分类：
其他好文 时间：
2020-10-27 11:54:44
阅读次数：
43
草捏子最近开始学习Kafka。在学习前，给自己确定了下学习的范围，大致如下：理解Kafka的相关概念；掌握Kafka的基本API使用；了解Kafka的背后原理。后续将在这学习范围内输出一些相关文章。那么本文作为Kafka系列的第一篇文章，将从“理解Kafka的相关概念”说起。首先Kafka是什么。Kafka起初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于ZooKeepe
分类：
其他好文 时间：
2020-10-27 11:52:25
阅读次数：
31
办吴忠证〖溦: bzs8777〗哪里办吴忠证件〖電/溦:182.1648.9071同号〗本地办理各类.证.件《诚.信.第一/专.业.定.制》自从数据源读取数据，到最终写出数据到表，无处不是使用Spark RDD作为主要数据结构，甚至连普通的工具类，都使用Spark API实现，可以说Hudi就是用S ...
分类：
其他好文 时间：
2020-10-27 11:31:30
阅读次数：
27
spark sql 的function中有一个 instr 可以判断其中一列是否是另外一列的子字符 新增字段 判断一个字段是否包含另一个字段的字符串，如果包含值为1否则是0 Df.withColumn("newColumn",when(instr(col("aColumn"),col("bColum ...
分类：
数据库 时间：
2020-10-27 10:54:18
阅读次数：
55
package test /** * scala中的:: , +:, :+, :::, +++, 等操作; */ object listTest { def main(args: Array[String]): Unit = { val list = List(1,2,3) // :: 用于的是向队 ...
分类：
其他好文 时间：
2020-10-26 11:23:59
阅读次数：
20
在Scala中，元组是一个包含了固定数量的元素的值，且每个元素都有自己的类型。元组是不可变的。 元组特别适用于一个方法返回多个值的场景。 一个二元元组可以按如下方式创建: val ingredient = ("Sugar" , 25) 这个元组包含了一个 String 类型的元素和一个 Int 类型 ...
分类：
编程语言 时间：
2020-10-24 11:54:27
阅读次数：
42
