码迷,mamicode.com
首页 > 其他好文 > 详细

Hive的数据模型及各模块的应用场景

时间:2019-12-14 15:25:44      阅读:104      评论:0      收藏:0      [点我收藏+]

标签:dex   create   virt   image   指定   ble   hdf   upload   不同   

Hive的数据模型

 
技术图片
Hive数据模型.png

数据模型组成及应用场景

  • Hive的数据模型主要有:database、table、partition、bucket四部分;

数据模型之database

  • database:相当于关系型数据库中的命名空间,作用是将数据库应用隔离到不同的数据库模式中,hive提供了create database dbname、use dbname 以及drop database dbname的语句;

数据模型之table

  • table:表是由存储的数据以及描述表的一些元数据组成。数据存储再分布式文件系统中,元数据存储在关系型数据库中;
  • hive表分四种:
    • MANGED_TABLE :内部表
    • EXTERNAL_TABLE:外部表
    • INDEX_TABLE:索引表
    • VIRTUAL_VIEW :视图表
  • 查看表的具体信息使用:desc tablename或者 desc formatted tablename
    Hive内部表和外部表的区别

数据模型之partition

  • hive的分区是根据某列的值进行粗略的划分,每个分区对应HDFS上的一个目录;

数据模型之bucket

  • 要使用hive的分桶功能,首先需要打开hive对痛的控制 set hive.enforce.bucketing=true;
  • bucket是按照指定值进行hash,每个桶就是表目录里的一个文件

Hive的数据模型及各模块的应用场景

标签:dex   create   virt   image   指定   ble   hdf   upload   不同   

原文地址:https://www.cnblogs.com/sx66/p/12039163.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!