非连续分配允许一个程序分散地装入到不相邻的内存分区中，根据分区的大小是否固定分为分页存储管理方式和分段存储管理方式。 基本分页存储管理方式 固定分区会产生内部碎片，动态分区会产生外部碎片，这两种技术对内存的利用率都比较低。我们希望内存的使用能尽量避免碎片的产生，这就引入了分页的思想：把主存空间划分为 ...
分类：
其他好文 时间：
2020-01-05 12:00:54
阅读次数：
64
Hive动态分区参数配置 往hive分区表中插入数据时，如果需要创建的分区很多，比如以表中某个字段进行分区存储，则需要复制粘贴修改很多sql去执行，效率低。因为hive是批处理系统，所以hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。 使用动态分区表必须配置的 ...
分类：
其他好文 时间：
2019-12-14 15:37:11
阅读次数：
104
1. Hive数据倾斜原因key分布不均匀业务数据本身的特性SQL语句造成数据倾斜解决方法hive设置hive.map.aggr=true和hive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Jo ...
分类：
其他好文 时间：
2019-12-14 14:08:06
阅读次数：
92
教材内容总结 本周学习了如何制作电子表格以及一些电子表格的函数使用。懂得了数字管理 系统由 3 部分构成：物理数据库、数据库引擎和数据库模式。了解了AI问题的 各个方面：知识表示、专家系统、神经网络、自然语言处理和机器人学。学习 了模拟及模型。 上周错题总结 1、Which of the follo ...
分类：
其他好文 时间：
2019-12-08 23:15:21
阅读次数：
112
教材学习内容总结 1.现代软件：应用软件（帮助我们解决现实世界问题）、系统软件（管理计算机系统并与硬件进行交互） 2.内存管理： 三种技术的基本原理 单块内存管理 把应用程序载入一段连续的内存区域的内存管理方法 分区内存管理 固定分区法：把内存分为特定数目的分区以载入程序的内存管理方法 动态分区法： ...
分类：
其他好文 时间：
2019-12-01 21:18:24
阅读次数：
92
1.教材内容学习 了解了应用软件、系统软件、操作软件扮演的不同角色，学习了批处理的由来以及现在的应用，逻辑地址与物理地址的不同，固定分区法、动态分区法在不同与优劣，最先匹配、最佳匹配、最差匹配在不同个情况下应用的优劣情况，时间片的应用以及文件的类型和其不同名词代表的文件信息，目录树以及磁盘调度的学习 ...
分类：
其他好文 时间：
2019-12-01 13:57:30
阅读次数：
104
LVM逻辑卷管理的基本操作?前言：上一篇说完了硬盘的分区、格式化与挂载分区，是可以正常使用了，但是一旦出现系统分区不够用了，就要进行备份、删除相关数据或重新规划分区来满足系统的需要。这就要用到LVM动态分区，可以在现有数据不变的情况下调整磁盘容量，提高磁盘的灵活性。1、LVM基本术语：PV（物理卷）：物理卷是LVM的基本存储设备，通常对应为一个普通分区或整个硬盘。创建物理卷时会在分区或硬盘的头部创
分类：
其他好文 时间：
2019-11-07 18:53:18
阅读次数：
151
hbase数据热点问题：一个region上访问数据量过多，解决方案是对热点数据的rowkey进行预处理，添加一些前缀东西，将热点数据分散到多个region中。预合并？动态分区？就是一开始初始数据的时候，就要对数据进行分区，存储到不同的region上，负载均衡例子：比如按电话号码开头分区，容易将电话号码都分到一个区中。后面可以按电话号码的逆序作为rowkey，这样就比较随机了。ctrL+backsp
分类：
其他好文 时间：
2019-11-05 09:26:31
阅读次数：
110
1、创建一张普通表加载数据 hive (default)> create table person(id int,name string,location string) > row format delimited fields terminated by '\t';OKTime taken: 0 ...
分类：
其他好文 时间：
2019-10-04 13:09:41
阅读次数：
114
