非常重要的动态分区属性： hive.exec.dynamic.partition 是否启动动态分区。false(不开启) true（开启）默认是 false hive.exec.dynamic.partition.mode 打开动态分区后，动态分区的模式，有 strict和 nonstrict 两个 ...
分类：
其他好文 时间：
2019-09-03 11:44:31
阅读次数：
88
说真的，这个模式在我做sql开发的岁月里，从未用到过。用的都是动态分区非严格模式。 我的好友东岳同学在车上问我。确实问到了我 。体现出了我基本功不扎实的情况。 1.what is Hive严格模式 Hive提供了一个严格模式，可以防止用户执行那些可能产生意向不到的不好的效果的查询。说通俗一点就是这种 ...
分类：
其他好文 时间：
2019-06-16 13:27:31
阅读次数：
215
使用hive分区,可以在查询的只查询对应分区的数据,避免了全表扫描。大大提升了查询速度。 今天我们讨论下，hive分区中的两个用法，动态分区和混合分区。 hive混合分区 就是多级分区。在某个分区下继续创建分区。 比如 分区 dt=2019-03-10的fruit销售表中，继续区分apple，ora ...
分类：
其他好文 时间：
2019-03-13 10:48:14
阅读次数：
195
思维导图： 内存管理流程 地址空间的不对应 地址重定位 逻辑地址向物理地址转换 存储管理方式 单处理分配 固定分配 动态分区分配 首次适应算法 最佳适应算法 fragmentation fragmentation 分页管理 避开要求物理地址空间连续的要求 例子 特点 Implementation o ...
分类：
其他好文 时间：
2019-03-03 18:53:08
阅读次数：
168
动态分区： 1.简单卷 ① 只能在一块硬盘分区，支持大小调整 2.跨区卷 ①两块或两块以上硬盘组成，每块硬盘可以提供不同的大小 ②支持分区大小调整 ③没有磁盘容错功能(删除数据恢复不了) 3.带区卷 ① 由两块以上或两块硬盘组成 ② 每块硬盘提供大小空间必须使用 ③ 读写效率高 ④ 没有磁盘容错功能 ...
分类：
系统相关 时间：
2019-01-07 00:13:01
阅读次数：
196
使用hive储存数据时，需要对做分区，如果从kafka接收数据，将每天的数据保存一个分区（按天分区），保存分区时需要根据某个字段做动态分区，而不是傻傻的将数据写到某一个临时目录最后倒入到某一个分区，这是静态分区。 Hive动态分区步骤如下： 1、建立某一个源表模拟数据源并插入一些数据 2、建立一张分 ...
分类：
其他好文 时间：
2018-11-12 17:29:59
阅读次数：
390
一、静态分区 1、创建分区表 2、加载数据到分区表 order_created.txt内容如下 3、这种手动指定分区加载数据，就是常说的静态分区的使用。但是在日常工作中用的比较多的是动态分区。 二、动态分区 需求：按照不同部门作为分区导数据到目标表 以上需求如果用静态分区的话，数据量大你是不是很懵逼 ...
分类：
其他好文 时间：
2018-09-27 15:28:42
阅读次数：
216
when why what how 为什么 OS 需要中断、系统调用、异常？ why？ 现实中有不少恶意应用，如果它能随意调用系统的一些指令，那后果不堪设想。那么就需要有个人确保其安全，操作系统可以信任其安全所以如果一些应用需要调用系统的一些指令通过操作系统来检查确保其安全。 中断 ：是指CPU对系 ...
分类：
其他好文 时间：
2018-09-03 02:47:50
阅读次数：
296
uploading image 422377.png uploading image 83430.png 目录都完成后_tmp. ext 1000会变成 ext 1000 并参见stage 6 ...
分类：
其他好文 时间：
2018-08-31 14:47:58
阅读次数：
270
hive的数据是放到hdfs中，当我们的分区字段类型为string时，如果使用动态分区向表中插入数据，而动态分区的那个字段恰好为null或者空字符串，这样hive会为其选一个默认的分区，我们查数据时分区字段的值也是这个默认分区的名，默认名为 __HIVE_DEFAULT_PARTITION__，这个 ...
分类：
其他好文 时间：
2018-08-25 13:56:48
阅读次数：
2379
