1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单，但没有根据具体的数据规模和计算任务做相应的配置，很容易造成"一半 ...
分类：
其他好文 时间：
2021-06-23 17:02:31
阅读次数：
0
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型，窄依赖和宽依赖。 窄依赖(narrow dependency)：是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类：
其他好文 时间：
2021-06-22 18:39:47
阅读次数：
0
原文：https://blog.csdn.net/hanziqing0630/article/details/114262035 1 Proxmox Virtual Environment介绍Proxmox VE 是用于企业虚拟化的开源服务器管理平台。它在单个平台上紧密集成了KVM虚拟机管理程序和L ...
分类：
其他好文 时间：
2021-06-22 17:50:36
阅读次数：
0
准备：1. 规划3个集群节点:hosts主机都已经配置好映射，映射主机名分别为master,slave1,slave2,且已经进行ssh免密配置，确保端口互通，防火墙关闭 2. 先安装好scala(参考：https://www.cnblogs.com/sea520/p/13518158.html) ...
分类：
其他好文 时间：
2021-06-19 19:11:31
阅读次数：
0
性能测试流程 注意要点 测试机器硬件配置尽量和线上一致 系统版本与线上一致 测试环境部署线上最小单元模块（一般线上都是集群部署，线下可以用最小的单元集群） 应用、中间件、数据库要与线上一致 其他特殊配置 数据构造 ? 业务接口 ? -- 适合数据表关系复杂 ? -- 优点： 数据完整性比较好 ? 存 ...
分类：
其他好文 时间：
2021-06-18 19:57:35
阅读次数：
0
spark程序初始化HiveContext报错：空指针异常 版本说明： spark: 1.6.1 scala: 2.10.8 hive: 1.2.1 报错信息 java.lang.RuntimeException: java.lang.NullPointerException at org.apac ...
分类：
其他好文 时间：
2021-06-17 16:37:17
阅读次数：
0
数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划阶段，Spark 的 Join Selection 类会根 据 Join hints 策略、Join 表的大小、 Join 是等值 Join 还是不等值以及参与 Join 的 key 是否可以排序等条件来选择最 终的 ...
分类：
其他好文 时间：
2021-06-10 18:28:12
阅读次数：
0
1. 安装启动检查Mysql服务。##netstat -tunlp (3306) cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars/ cd /usr/local/ ...
分类：
数据库 时间：
2021-06-07 20:10:49
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-06-07 20:05:58
阅读次数：
0
1. 准备文本文件： 从文件创建RDD lines=sc.textFile()： 筛选出含某个单词的行 lines.filter()，lambda 参数：条件表达式： 2. 生成单词的列表： 从列表创建RDD words=sc.parallelize()： 筛选出长度大于2 的单词 words.fi ...
分类：
其他好文 时间：
2021-06-07 20:04:33
阅读次数：
0
