基本概念部分，批处理和流处理的区别批处理在大数据世界有着悠久的历史,比较典型的就是spark。批处理主要操作大容量静态数据集，并在计算过程完成后返回结果。批处理模式中使用的数据集通常符合下列特征：（1）有界：批处理数据集代表数据的有限集合（2）持久：数据通常始终存储在某种类型的持久存储位置中（3）大量：批处理操作通常是处理极为海量数据集的唯一方法批处理非常适合需要访问全套记录才能完成的计算工作。例
分类：
其他好文 时间：
2020-11-06 02:26:18
阅读次数：
29
Spark2.4新特性概述导读：Spark官方于今年11月份新发布了Spark2.4。那么新版本的Spark都有哪些值得了解的新特性？应对大数据领域的诸多方案，Spark目前是什么样的状况？未来会有怎样的规划？来自ApacheSparkPMC的大牛为我们讲述Spark的进击与挑战。11月23~24日，GIAC全球互联网架构大会将于上海举行。GIAC是高可用架构技术社区推出的面向架构师、技术负责人及
分类：
其他好文 时间：
2020-11-06 00:53:40
阅读次数：
19
Spark源码编译官方文档：https://spark.apache.org/docs/latest/building-spark.html用于编译源码的机器最好满足如下配置：CPU>=4核内存>=8G首先安装好JDK、Scala和Maven，由于安装都比较简单，本文就不演示了，我这里使用的JDK、Scala和Maven版本如下：[root@spark01~]#java-version
分类：
其他好文 时间：
2020-10-27 11:54:44
阅读次数：
43
办吴忠证〖溦: bzs8777〗哪里办吴忠证件〖電/溦:182.1648.9071同号〗本地办理各类.证.件《诚.信.第一/专.业.定.制》自从数据源读取数据，到最终写出数据到表，无处不是使用Spark RDD作为主要数据结构，甚至连普通的工具类，都使用Spark API实现，可以说Hudi就是用S ...
分类：
其他好文 时间：
2020-10-27 11:31:30
阅读次数：
27
spark sql 的function中有一个 instr 可以判断其中一列是否是另外一列的子字符 新增字段 判断一个字段是否包含另一个字段的字符串，如果包含值为1否则是0 Df.withColumn("newColumn",when(instr(col("aColumn"),col("bColum ...
分类：
数据库 时间：
2020-10-27 10:54:18
阅读次数：
55
原帖：https://blog.csdn.net/Damonhaus/article/details/76572971 问题：协同过滤 ALS算法。在测试过程中遇到了内存溢出的错误 解决办法1：降低迭代次数，20次 -> 10次 val model = new ALS().setRank(10).s ...
分类：
其他好文 时间：
2020-10-24 09:45:55
阅读次数：
24
无论对Spark集群，还是Hadoop集群等大数据相关的集群进行调优，对linux系统层面的调优都是必不可少的，这里主要介绍3种常用的调优和linux常见面试题 ...
分类：
系统相关 时间：
2020-10-20 16:23:11
阅读次数：
36
一、VectorAssembler package com.home.spark.ml import org.apache.spark.SparkConf import org.apache.spark.ml.feature.VectorAssembler import org.apache.spa ...
分类：
其他好文 时间：
2020-10-18 09:57:35
阅读次数：
15
猫场面试题第 1 套 以下为我为大家整理的猫场面试题第一套，均为笔者自己参加面试或者一些读者分享给我的题目，保证真实和准确性。 1 框架部分 1.1 Spark 提交 job 流程 所谓提交流程，其实就是我们开发人员根据需求写的应用程序通过 Spark 客户端提交给 Spark 运行环境执行计算的流 ...
分类：
其他好文 时间：
2020-10-13 17:19:39
阅读次数：
26
