码迷,mamicode.com
首页 >  
搜索关键字:hive shims类    ( 5904个结果
发布Apache Hadoop 2.6.0——异构存储,长时间运行的服务与滚动升级支持
发布Apache Hadoop 2.6.0——异构存储,长时间运行的服务与滚动升级支持 我很高兴地宣布,在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt! 特别是,我们很高兴在此版本中相关的三个主要片:异构存储在HDFS使用SSD和内存层,支持长时间运行在YARN服务和滚动升级,将升级您的集群软件,然后重新启动升级的节点而无需关闭群集或丢失正在进行的工作。YARN作为其架构中心,Hado...
分类:Web程序   时间:2014-12-08 12:28:20    阅读次数:224
hive show current roles问题
今天hive user maillist上有人问show current roles命令问题: 1 2 3 4 5 6 I am trying to run ‘Show current roles’ on Apache hive 0.13.1 but getting following error, hive>...
分类:其他好文   时间:2014-12-07 20:25:20    阅读次数:296
Hive的DDL和DML操作
1.数据定义语言:hive> CREATE TABLE pokes (foo INT, bar STRING);hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);--分区是虚拟的,用于加载特别的数据...
分类:其他好文   时间:2014-12-07 17:44:34    阅读次数:150
查找hive创建的视图
hive 查找视图...
分类:其他好文   时间:2014-12-07 16:28:51    阅读次数:165
hive hook限制grant权限
hive中有个比较严重的bug,默认情况下任何用户都可以运行grant命令来做授权操作在Driver.compile方法中,可以增加对AST的hook(hive可以有很多hook,后面分析hivehook的类型和使用阶段),用来做一些forbidden的操作:compile相关的内容如下:BaseSemanticAnalyzersem=SemanticAn..
分类:其他好文   时间:2014-12-07 15:12:43    阅读次数:218
hive认证相关类分析
目前的hive版本是支持authentication和authorization的(再加上计费就是3A了,哈哈),在hive的java.org.apache.hadoop.hive.conf.HiveConf类中定义的权限相关的设置项有:HIVE_AUTHORIZATION_ENABLED("hive.security.authorization.enabled",false),//是否开启权限验证 HIVE_AUT..
分类:其他好文   时间:2014-12-07 15:12:19    阅读次数:415
hive show current roles问题
今天hiveusermaillist上有人问showcurrentroles命令问题:Iamtryingtorun‘Showcurrentroles’onApachehive0.13.1butgettingfollowingerror, hive>SHOWCURRENTROLES; Errorinroleoperationshow_current_roleonrolenamenull,errormessageUnkownroleoperationshow_current_rol..
分类:其他好文   时间:2014-12-07 15:11:11    阅读次数:204
hive扩展认证方法
扩展HadoopDefaultAuthenticator类的setConf方法,实现可以代理用户运行的功能,主要需求如下:1.不传入参数时,按本用户执行2.传入参数时,按传入参数执行3.对设置为hdfs用户进行限制主要更改HiveConf类和HadoopDefaultAuthenticator类HiveConf增加:HIVE_USE_CUSTOM_PROXY("u..
分类:其他好文   时间:2014-12-07 15:10:35    阅读次数:257
从NSM到Parquet:存储结构的衍化
为了优化MapReduce及MR之前的各种工具的性能,在Hadoop内建的数据存储格式外,又涌现了一批各种各样的存储方式。如优化Hive性能的RCFile,以及配合Impala实现出Google Dremel功能(类似甚至是功能的超集)的Parquet等。今天就来一起学习一下HDFS中数据存储的进化历程。数据摆放结构数据摆放结构(data placement structure),顾名思义,就是数...
分类:其他好文   时间:2014-12-06 19:32:48    阅读次数:620
Alex 的 Hadoop 菜鸟教程: 第9课 Sqoop1 从Hbase或者Hive导出mysql
今天讲讲怎么用sqoop将Hbase或者Hive的东西导出到mysql。不过事先要告诉大家:目前sqoop没有办法把数据直接从Hbase导出到mysql。必须要通过Hive建立2个表,一个外部表是基于这个Hbase表的,另一个是单纯的基于hdfs的hive原生表,然后把外部表的数据导入到原生表(临时),然后通过hive将临时表里面的数据导出到mysql...
分类:数据库   时间:2014-12-05 09:15:17    阅读次数:438
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!