1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单，但没有根据具体的数据规模和计算任务做相应的配置，很容易造成"一半 ...
分类：
其他好文 时间：
2021-06-23 17:02:31
阅读次数：
0
每个Linux使用者在安装Linux时都会遇到这样的困境：在为系统分区时，如何精确评估和分配各个硬盘分区的容量，因为系统管理员不但要考虑到当前某个分区需要的容量，还要预见该分区以后可能需要的容量的最大值。因为如果估 计不准确，当遇到某个分区不够用时管理员可能甚至要备份整个系统、清除硬盘、重新对硬盘分 ...
分类：
其他好文 时间：
2021-06-21 20:23:57
阅读次数：
0
简单类型即基本数据类型，复杂数据类型即引用类型 简单数据类型：string，number，bool，undefined，null （其中null比较特殊，是空对象类型object） 复杂数据类型：通过new创建的对象 栈：由系统自动分配释放存放函数的参数值，局部变量的值等 简单数据类型是存在栈中的 ...
分类：
Web程序 时间：
2021-06-20 18:42:17
阅读次数：
0
引入其他配置文件（分模块开发） 实际开发中，Spring的配置内容非常多，这就导致Spring配置很繁杂且体积很大。 所以：可以将部分配置拆解到其他 配置文件中，而在Spring主配置文件通过import标签进行加载 JSP中也有个 import 类似于内个，就是把其他xml中的东西导入进来 不会很 ...
分类：
编程语言 时间：
2021-06-20 18:29:23
阅读次数：
0
[Linux之权限管理?户组管理] 权限管理用户组管理 RBAC 权限管理 RBAC（Role-Based Access Control，基于角色的访问控制），就是用户通过角色与权限进行关联。简单地说，一个用户拥有若干角色，每一个角色拥有若干权限。这样，就构造成“用户-角色-权限”的授权模型。在这种 ...
分类：
系统相关 时间：
2021-06-20 18:23:11
阅读次数：
0
第一种方法就是最传统的多进程并发模型 (每进来一个新的I/O流会分配一个新的进程管理。)第二种方法就是I/O多路复用 (单个线程，通过记录跟踪每个I/O流(sock)的状态，来同时管理多个I/O流 。) 其实“I/O多路复用”这个坑爹翻译可能是这个概念在中文里面如此难理解的原因。所谓的I/O多路复用 ...
分类：
其他好文 时间：
2021-06-19 19:27:11
阅读次数：
0
概览1.配置hive-site.xml2.配置hadoop中的core-site.xml文件3.测试 首先将hive安装 然后更改部分配置文件 1.配置hive-site.xml利用Xshell工具连接虚拟机 进入hive安装目录下的conf文件夹,更改hive-site.xml配置文件其中配置参考 ...
分类：
其他好文 时间：
2021-06-19 19:20:19
阅读次数：
0
什么是进程？ 程序：一个未运行的二进制文件，叫做程序。如Windows下的PE文件 进程：二进制文件运行后，文件本身以及用到的资源称为进程，他是操作系统分配资源的基本单元。 多任务：不止可以通过线程完成多任务，还可以通过进程完成多任务。 使用Process实现多进程 from multiproces ...
分类：
编程语言 时间：
2021-06-18 20:02:02
阅读次数：
0
一、Flink内核解析，针对版本1.12.0，四大块：任务的提交流程，组件通信，任务的调度，内存管理。 任务的提交流程：以命令行的提交命令开始追踪类，20多个步骤，几十个类，数千行代码量，最后画一个PPT动图 组件通信：actor的模型，akka基本原理和实现,5大关键角色：代理转发，处理细节，PP ...
分类：
其他好文 时间：
2021-06-18 19:53:27
阅读次数：
0
Linux应用程序基础 应用程序与系统命令的关系 角色 系统命令 应用程序 文件位置 一般在/bin和/sbin 目录中，或为Shell 内部指令 通常在/usr/bin ,/usr/sbin 和/usr/local/bin , /usr/local/sbin 目录中 主要用途 完成对系统的基本管理 ...
分类：
系统相关 时间：
2021-06-18 19:39:00
阅读次数：
0
