码迷,mamicode.com
首页 > 数据库 > 详细

把Spark SQL的metadata存储到mysql

时间:2015-04-10 19:52:42      阅读:178      评论:0      收藏:0      [点我收藏+]

标签:

1:安装配置mysql

yum install mysql mysql-server
service mysqld start
mysqladmin -u root  password newpassword
mysql -u root -p
登录mysql
mysql>GRANT ALL PRIVILEGES ON *.* TO ‘root‘@‘%‘WITH GRANT OPTION
myslq>FLUSH PRIVILEGES
 

2:配置hive-site.xml

下载一个hive的安装包,加压后复制conf目录下面的hive-default.xml.template到SPARK_HOME/conf中,重命名为hive-site.xml
修改4个重要属性:
1:javax.jdo.option.ConnectionURL         
jdbc:mysql://192.168.1.93:3306/sparkmetadata?createDatabaseIfNotExist=true&characterEncoding=UTF-8
2:javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
3:javax.jdo.option.ConnectionUserName
root
4: javax.jdo.option.ConnectionPassword
xxx
 
然后修改Hive-site.xml中所有的时间属性,所有属性的单位为s(秒),删除s然后添加3个0,所有属性的单位为ms的删除ms,spark无法识别这些单位,而是把他们全当数字处理。
 

3:启动spark-sql

在spark-sql的shell下面创建表,查看mysql的database:sparkmetadata中的表:TBLS是否包含该记录,如果有说明一切OK。
 





把Spark SQL的metadata存储到mysql

标签:

原文地址:http://www.cnblogs.com/gaoxing/p/4415406.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!