码迷,mamicode.com
首页 > 其他好文 > 详细

[转帖]hive与hbase的联系与区别:

时间:2019-10-10 22:26:21      阅读:132      评论:0      收藏:0      [点我收藏+]

标签:批处理   hadoop   之间   搜索引擎   转换   基于   显示   总结   实时   

https://www.cnblogs.com/xubiao/p/5571176.html

原作者写的很好.. 这里面简单学习总结一下..

都是bigdata的工具, 都是基于google的bigtable 的二次研发.
基于hadoop作为底层存储.

区别在于 hive 是虚拟表 目的是将HSQL 解析成为 mapreduce 的jobs 进行 大数据的查询处理.因为是mapreduce的可能耗时比较久一些.
而hbase 是实际影响hadoop的物理文件的存储的, 类比key value 数据库能够快速查询 hadoop里面的数据内容.

 

hive与hbase的联系与区别:
共同点:
1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储。

他们的底层是要通过mapreduce分布式计算的,hbase、hive、pig底层都是这样的。但整体来说hadoop还是比较快的,因为它是进行海量数据存储和分布式计算,这个速度已经很不错了。

区别:

2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。
3.想象你在操作RMDB数据库,如果是全表扫描,就用Hive+Hadoop,如果是索引访问,就用HBase+Hadoop 。
4.Hive query就是MapReduce jobs可以从5分钟到数小时不止,HBase是非常高效的,肯定比Hive高效的多。
5.Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce,Hive中的表纯逻辑。hive需要用到hdfs存储文件,需要用到MapReduce计算框架。

6.hive借用hadoop的MapReduce来完成一些hive中的命令的执行
7.hbase是物理表,不是逻辑表,提供一个超大的内存hash表,搜索引擎通过它来存储索引,方便查询操作。
8.hbase是列存储。
9.hdfs作为底层存储,hdfs是存放文件的系统,而Hbase负责组织文件。

注:

觉得在问区别之前,我应该显示说相同点,这么一想,又糊涂了,hive和hbase哪里像了,好像哪里都不像,既然哪里都不像,又何来的“区别是什么”这一问题,他俩所有的都算区别。
那么,hive是什么?
白话一点再加不严格一点,hive可以认为是map-reduce的一个包装。hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。
于是,hbase是什么?
同样白话一点加不严格一点,hbase可以认为是hdfs的一个包装。他的本质是数据存储,是个NoSql数据库;hbase部署于hdfs之上,并且克服了hdfs在随机读写方面的缺点。
所以要问hive和hbase的区别,就应该问问map-reduce和hdfs之间的区别,问区别,就要先说说他俩哪里像。
于是,你说map-reduce和hdfs哪里像了呢?

 说点题外话:hive难在sql,habse难在表结构的设计

[转帖]hive与hbase的联系与区别:

标签:批处理   hadoop   之间   搜索引擎   转换   基于   显示   总结   实时   

原文地址:https://www.cnblogs.com/jinanxiaolaohu/p/11639750.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!