码迷,mamicode.com
首页 > 其他好文 > 详细

Hive的安装与配置

时间:2016-05-02 14:11:28      阅读:259      评论:0      收藏:0      [点我收藏+]

标签:

1、因为我使用MySQL做为Hive的元数据库,所以先安装MySQL。

参考:http://www.cnblogs.com/hunttown/p/5452205.html

登录命令:mysql -h主机地址 -u用户名 -p用户密码

mysql –u root    #初始登录没有密码

修改密码

格式:mysqladmin -u用户名 -p旧密码 password 新密码

mysql>mysqladmin -uroot –password 123456

注:因为开始时root没有密码,所以-p旧密码一项就可以省略了。

创建用于hive的用户hadoopuser

创建用户命令:CREATE USER ‘username‘@‘host‘ IDENTIFIED BY ‘password‘;

mysql> CREATE USER ‘hadoopuser@MySQLServer’ IDENTIFIED BY ‘password‘;

授权命令:GRANT privileges ON databasename.tablename TO ‘username‘@‘host‘

mysql> GRANT ALL PRIVILEGES ON *.* TO ‘hadoopuser@MySQLServer’ WITH GRANT OPTION;

创建用户和授权可以一起做:

mysql> GRANT ALL PRIVILEGES ON *.* TO hadoopuser@MySQLServer IDENTIFIED BY ‘123456’ WITH GRANT OPTION;

创建数据库hive,用于hive数据存储

mysql> create database hive

2、解压hive到 /home/hadoopuser/

3、切换到root用户,加入环境变量:

export HIVE_HOME=/home/hadoopuser/hive
export PATH=$PATH:$HIVE_HOME/bin

4、使用root用户,给hive/bin增加权限

chmod 777 /hive/bin/*

5、配置文件

切换到  /hive/conf

cp hive-default.xml.template  hive-site.xml
cp hive-log4j.properties.template hive-log4j.properties

(1)配置hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://192.168.254.156:3306/hive?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hadoop</value>
    <description>username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
  </property>
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
  </property>
</configuration>

注1:仓库目录如果没有要创建

hdfs dfs –mkdir /user/hive
hdfs dfs –mkdir /user/hive/warehouse

注2:mysql的驱动jar包要上传到hive/lib下

 

(2)配置hive-log4j.properties

#log4j.appender.EventCounter=org.apache.hadoop.metrics.jvm.EventCounter
log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter

6、在HDFS中创建/tmp和/user/hive/warehouse并设置权限

hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

注:hadoop 命令换成了hdfs命令,上面的命令如同下面的命令

hdfs fs -mkdir /tmp
hdfs fs -mkdir /user/hive/warehouse
hdfs fs -chmod g+w /tmp
hdfs fs -chmod g+w /user/hive/warehouse

7、手动上传mysql的jdbc库到hive/lib目录。

http://mirror.bit.edu.cn/mysql/Downloads/Connector-J/

mysql-connector-java-5.1.22-bin.jar

8、启动hive

hive --service metastore &        #启动metastore服务
hive --service hiveserver2 &      #启动hiveserver服务
hive shell                        #启动hive客户端

 

Hive 使用

1、创建数据库

CREATE DATABASE myhive;

2、创建表

CREATE TABLE doc_hive (id int, username string, sex int, age int, email string, createtime string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t‘;

3、导入数据

LOAD DATA LOCAL INPATH ‘/home/hadoopuser/doc/t-1.txt‘ OVERWRITE INTO TABLE doc_hive ;

验证:select * from myhive.doc_hive;

Hive的具体使用,在接下来的博客中会有体现。


——郑重声明:本文仅为作者个人笔记,请勿转载!——

Hive的安装与配置

标签:

原文地址:http://www.cnblogs.com/hunttown/p/5452225.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!