码迷，mamicode.com
首页 > Web开发 > 详细

Hive metastore三种配置方式

时间：2016-01-14 09:48:17      阅读：173      评论：0      收藏：0      [点我收藏+]

标签：

本文转载至：http://blog.csdn.net/reesun/article/details/8556078
 

Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式，链接为：Hive Metastore。

 

一、本地derby

这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可

 

[html] view plaincopyprint?
 
  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <configuration>  
  5.   
  6. <property>  
  7.   <name>javax.jdo.option.ConnectionURL</name>  
  8.   <value>jdbc:derby:;databaseName=metastore_db;create=true</value>  
  9. </property>  
  10.    
  11. <property>  
  12.   <name>javax.jdo.option.ConnectionDriverName</name>  
  13.   <value>org.apache.derby.jdbc.EmbeddedDriver</value>  
  14. </property>  
  15.    
  16. <property>  
  17.   <name>hive.metastore.local</name>  
  18.   <value>true</value>  
  19. </property>  
  20.    
  21. <property>  
  22.   <name>hive.metastore.warehouse.dir</name>  
  23.   <value>/user/hive/warehouse</value>  
  24. </property>  
  25.    
  26. <property>  
  27.   <name>hive.metastore.warehouse.dir</name>  
  28.   <value>/user/hive/warehouse</value>  
  29. </property>  
  30.   
  31. </configuration>  

注：使用derby存储方式时，运行hive会在当前目录生成一个derby文件和一个metastore_db目录。这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库，否则会提示如下错误

 

 

[html] view plaincopyprint?
 
  1. hive> show tables;  
  2. FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database ‘metastore_db‘, see the next exception for details.  
  3. NestedThrowables:  
  4. java.sql.SQLException: Failed to start database ‘metastore_db‘, see the next exception for details.  
  5. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask  

 

二、本地mysql

这种存储方式需要在本地运行一个mysql服务器，并作如下配置（下面两种使用mysql的方式，需要将mysql的jar包拷贝到$HIVE_HOME/lib目录下）。

 

 

[html] view plaincopyprint?
 
  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <configuration>  
  5. <property>  
  6.   <name>hive.metastore.warehouse.dir</name>  
  7.   <value>/user/hive_remote/warehouse</value>  
  8. </property>  
  9.    
  10. <property>  
  11.   <name>hive.metastore.local</name>  
  12.   <value>true</value>  
  13. </property>  
  14.    
  15. <property>  
  16.   <name>javax.jdo.option.ConnectionURL</name>  
  17.   <value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value>  
  18. </property>  
  19.    
  20. <property>  
  21.   <name>javax.jdo.option.ConnectionDriverName</name>  
  22.   <value>com.mysql.jdbc.Driver</value>  
  23. </property>  
  24.    
  25. <property>  
  26.   <name>javax.jdo.option.ConnectionUserName</name>  
  27.   <value>hive</value>  
  28. </property>  
  29.    
  30. <property>  
  31.   <name>javax.jdo.option.ConnectionPassword</name>  
  32.   <value>password</value>  
  33. </property>  
  34. </configuration>  

 

三、远端mysql

 

这种存储方式需要在远端服务器运行一个mysql服务器，并且需要在Hive服务器启动meta服务。

这里用mysql的测试服务器，ip位192.168.1.214，新建hive_remote数据库，字符集位latine1

 

[html] view plaincopyprint?
 
  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.    
  4. <configuration>  
  5.   
  6. <property>  
  7.   <name>hive.metastore.warehouse.dir</name>  
  8.   <value>/user/hive/warehouse</value>  
  9. </property>  
  10.    
  11. <property>  
  12.   <name>javax.jdo.option.ConnectionURL</name>  
  13.   <value>jdbc:mysql://192.168.1.214:3306/hive_remote?createDatabaseIfNotExist=true</value>  
  14. </property>  
  15.    
  16. <property>  
  17.   <name>javax.jdo.option.ConnectionDriverName</name>  
  18.   <value>com.mysql.jdbc.Driver</value>  
  19. </property>  
  20.    
  21. <property>  
  22.   <name>javax.jdo.option.ConnectionUserName</name>  
  23.   <value>hive</value>  
  24. </property>  
  25.    
  26. <property>  
  27.   <name>javax.jdo.option.ConnectionPassword</name>  
  28.   <value>password</value>  
  29. </property>  
  30.   
  31. <property>  
  32.   <name>hive.metastore.local</name>  
  33.   <value>false</value>  
  34. </property>  
  35.   
  36. <property>  
  37.   <name>hive.metastore.uris</name>  
  38.   <value>thrift://192.168.1.188:9083</value>  
  39. </property>  
  40.   
  41. </configuration>  

 

注：这里把hive的服务端和客户端都放在同一台服务器上了。服务端和客户端可以拆开，将hive-site.xml配置文件拆为如下两部分

         1）、服务端配置文件
[html] view plaincopyprint?
 
  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.    
  4. <configuration>  
  5.   
  6. <property>  
  7.   <name>hive.metastore.warehouse.dir</name>  
  8.   <value>/user/hive/warehouse</value>  
  9. </property>  
  10.    
  11. <property>  
  12.   <name>javax.jdo.option.ConnectionURL</name>  
  13.   <value>jdbc:mysql://192.168.1.214:3306/hive_remote?createDatabaseIfNotExist=true</value>  
  14. </property>  
  15.    
  16. <property>  
  17.   <name>javax.jdo.option.ConnectionDriverName</name>  
  18.   <value>com.mysql.jdbc.Driver</value>  
  19. </property>  
  20.    
  21. <property>  
  22.   <name>javax.jdo.option.ConnectionUserName</name>  
  23.   <value>root</value>  
  24. </property>  
  25.    
  26. <property>  
  27.   <name>javax.jdo.option.ConnectionPassword</name>  
  28.   <value>test1234</value>  
  29. </property>  
  30. </configuration>  

         2）、客户端配置文件
[html] view plaincopyprint?
 
  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.    
  4. <configuration>  
  5.   
  6. <property>  
  7.   <name>hive.metastore.warehouse.dir</name>  
  8.   <value>/user/hive/warehouse</value>  
  9. </property>  
  10.    
  11. <property>  
  12.   <name>hive.metastore.local</name>  
  13.   <value>false</value>  
  14. </property>  
  15.   
  16. <property>  
  17.   <name>hive.metastore.uris</name>  
  18.   <value>thrift://192.168.1.188:9083</value>  
  19. </property>  
  20.   
  21. </configuration>  

启动hive服务端程序

[plain] view plaincopyprint?
 
  1. $ hive --service metastore   

客户端直接使用hive命令即可

[plain] view plaincopyprint?
 
  1. root@my188:~$ hive   
  2. Hive history file=/tmp/root/hive_job_log_root_201301301416_955801255.txt  
  3. hive> show tables;  
  4. OK  
  5. test_hive  
  6. Time taken: 0.736 seconds  
  7. hive>  

Hive metastore三种配置方式

标签：

原文地址：http://www.cnblogs.com/zouzhongfan/p/5129115.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！