一、表设计 合理分表 合理设计表分区，静态分区、动态分区 二、扫描相关 1、谓词下推（Predicate Push Down） 2、列裁剪（Column Pruning） 在读数据的时候，只关心感兴趣的列，而忽略其他列 对于查询：select a,b from src where e < 10 其中 ...
分类：
其他好文 时间：
2017-09-06 00:48:36
阅读次数：
266
动态分区数太大的问题：[Fatal Error] Operator FS_2 (id=2): Number of dynamic partitions exceeded hive.exec.max.dynamic.partitions.pernode. hive> insert into table ...
分类：
其他好文 时间：
2017-08-19 17:04:51
阅读次数：
113
LVM概述LVM是逻辑盘卷管理（LogicalVolumeManager）的简称，它是Linux环境下对磁盘分区进行管理的一种机制，LVM是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。LVM的工作原理其实很简单，它就是通过将底层的物理硬盘抽象的封装起来，然后以逻辑卷的方式呈现..
分类：
其他好文 时间：
2017-07-19 09:23:50
阅读次数：
275
（前人写的不错，很实用，负责任转发）转自：http://www.crazyant.net/1197.html Hive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表），所属国家cnty和所属州st ...
分类：
其他好文 时间：
2017-07-03 13:59:50
阅读次数：
172
为什么要创建oracle分区表？ 一般情况下，如果不分区，则每次查询的对象都是一整张表，如果采用了表分区，那么可以根据具体的分区字段当作条件来避免扫描整张表，减少IO的扫描以提高表的查询速度。 新建(按照日期自动分区)分区表 尝试插入数据，之后查看动态分区表的分区个数： 从上边表中我们基本可以看出， ...
分类：
数据库 时间：
2017-06-23 10:43:05
阅读次数：
242
1.内存中都存储什么？ 操作系统和进程，特别是多道程序设计时，要将主存继续细分； 2.内存管理需要做那些事情？ 3.处理器需要把进程放到主存中执行，那内存是什么的组织结构？ 最原始的分区：固定分区（分区大小相同，大小不同），动态分区； 分页：主存和进程都分成大小相等的块，只不过块很小，导致内存碎片很 ...
分类：
其他好文 时间：
2017-06-18 01:51:38
阅读次数：
166
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl/p/6831884.html 转载请注明出处 虽然之前已经用过很多次hive的分区表，但是还是找时间快速回顾总结一下加深理解. 举个栗子，基本需求就是Hive有一张非常详细的原子数据表original_devic ...
分类：
其他好文 时间：
2017-05-09 18:19:06
阅读次数：
266
非连续分配允许一个程序分散地装入到不相邻的内存分区中，根据分区的大小是否固定分为分页存储管理方式和分段存储管理方式。 基本分页存储管理方式 固定分区会产生内部碎片，动态分区会产生外部碎片，这两种技术对内存的利用率都比较低。我们希望内存的使用能尽量避免碎片的产生，这就引入了分页的思想：把主存空间划分为 ...
分类：
其他好文 时间：
2017-04-17 20:36:34
阅读次数：
298
内存连续分配方式，是指为一个用户程序分配一个连续的内存空间。它主要包括单一连续分配、固定分区分配和动态分区分配。 单一连续分配 内存在此方式下分为系统区和用户区，系统区仅提供给操作系统使用，通常在低地址部分；用户区是为用户提供的、除系统区之外的内存空间。这种方式无需进行内存保护。这种方式的优点是简单 ...
分类：
其他好文 时间：
2017-04-17 19:19:04
阅读次数：
253
当对hive分区未做设置时，报错如下： Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create to ...
分类：
其他好文 时间：
2017-04-05 19:56:10
阅读次数：
502
