首次适应算法每次从低地址开始查找,找到第一个能满足大小的空闲分区,顺序查找空闲分区链或者空闲分区表 最佳适应算法(最小分配)按照容量递增从小到大的顺序查找,每次分配内存按前面顺序查找,找到第一个合适的,会留下很多外部碎片 最坏适应算法(最大分配)按容量从大到小顺序查找 邻近适应算法每次分配内存时,从 ...
分类：
编程语言 时间：
2021-01-04 10:58:04
阅读次数：
0
存储管理动态分区分配及回收算法 一、实验目的 分区管理是应用较广泛的一种存储管理技术。本实验要求用一种结构化高级语言构造分区描述器，编制动态分区分配算法和回收算法模拟程序，并讨论不同分配算法的特点。 二、实验内容 1、编写：First Fit Algorithm 2、编写：Best Fit Algo ...
分类：
编程语言 时间：
2020-06-11 22:00:26
阅读次数：
76
前言 用了这么久的Hive，而没有认真的学习和使用过Hive的分区，现在学习记录一下。 分区表一般在数据量比较大，且有明确的分区字段时使用，这样用分区字段作为查询条件查询效率会比较高。 Hive分区分为静态分区和动态分区 1、建表语句 先用一个有分区字段的分区表进行学习，静态分区和动态分区的建表语句 ...
分类：
其他好文 时间：
2020-05-19 22:46:55
阅读次数：
50
HIVE分区，桶，倾斜概念 ref：https://edu.hellobi.com/course/93/play/lesson/2037 静态分区： 按日期来分区 动态分区： 商品二级类目分区（图书、数码等），是不确定的 set hive.exec.dynamic.partition 查看设置tru ...
分类：
其他好文 时间：
2020-05-17 17:42:14
阅读次数：
76
为什么要引入基本分页内存管理？ 答：在连续存储管理方式中， 固定分区会产生内部碎片，动态分区会产生外部碎片 。这两种技术对内存的利用率都比较低。而分页式存储管理方式把主存空间划分为大小相等且固定的块，块相对较小，作为主存的基本单位，每个进程也以块为基本单位划分，进程在执行时，以块为单位逐个申请主存中 ...
分类：
其他好文 时间：
2020-05-02 20:38:19
阅读次数：
104
内存连续分配方式 连续分配方式，是指为 一个用户程序分配一个连续的内存空间 。它主要包括单一连续分配、固定分区分配和动态分区分配。 1.单一连续分配 内存划分为系统区和用户区 ，整个用户区为一道用户程序独占，仅驻留一道程序， 基本不设立存储器保护措施，最多需要设立界限检 查机制保护用户程序不要破坏操 ...
分类：
其他好文 时间：
2020-04-29 23:29:32
阅读次数：
242
7.2.1 分区内存管理 把内存分为若干个区给用户使用 单一区存储管理 分区存储管理 固定分区 动态分区 单一区存储管理（不分区存储管理） 定义： 用户区不分区，完全被一个程序占用。例如：DOS 优点： 简单，不需要复杂硬件支持，适于单用户单任务OS 缺点： 程序运行占用整个内存，即使小程序也是如此 ...
分类：
其他好文 时间：
2020-04-21 23:57:40
阅读次数：
189
小文件问题原因： ① 众所周知，小文件在HDFS中存储本身就会占用过多的内存空间，那么对于MR查询过程中过多的小文件又会造成启动过多的Mapper Task, 每个Mapper都是一个后台线程，会占用JVM的空间。 ② 在Hive中，动态分区会造成在插入数据过程中，生成过多零碎的小文件。 ③ 不合理 ...
分类：
其他好文 时间：
2020-04-19 13:17:44
阅读次数：
89
整体架构优化点: 根据不同业务需求进行日期分区, 并执行类型动态分区。 hive.exec.dynamic.partition=true 为了减少磁盘存储空间以及I/O次数, 对数据进行压缩(Gzip) mapreduce.output.fileoutputformat.compress=true ...
分类：
其他好文 时间：
2020-03-29 19:55:40
阅读次数：
105
sqoop，将oracle数据传递到hive，可以直接将表数据覆盖传递，也可以按select传递，这里我用的是select查询的 脚本如下： 1、创建分区表，按c1分区 CREATE TABLE `xx.cc`( `c1` string) PARTITIONED BY(`c2` string); 2 ...
分类：
数据库 时间：
2020-03-27 14:25:12
阅读次数：
214
