场景在当前项目中，因为之前使用数据库查询，而随着数据的增多，查询速度会越来越慢，所以需要使用Java来调用hive进行数据统计。本篇博文主要是使用springboot+hive来查询hive数据，并返回查询的数据结果。 环境软件 版本springboot 2.1.8.RELEASECDH 5.15. ...
分类：
编程语言 时间：
2021-06-02 15:43:55
阅读次数：
0
1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql ...
分类：
数据库 时间：
2021-06-02 15:40:05
阅读次数：
0
安装启动检查Mysql服务。 netstat -tunlp (3306) spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 启动 Mysql she ...
分类：
数据库 时间：
2021-06-02 15:02:56
阅读次数：
0
说明 适用平台：头歌（Educoder）实践教学平台 适用实训： Hive综合应用案例——学生成绩查询 Hive综合应用案例——用户学历查询 Hive综合应用案例——用户搜索日志分析 注意： 看清楚上面说的实训是不是和你需要做的实训是同一个实训！！！ 如果是同一个实训，直接复制粘贴代码，然后点击测评 ...
分类：
其他好文 时间：
2021-06-02 11:35:33
阅读次数：
0
启动hive时，show databases; 然后报错： 查看自己的配置文件没有问题(hbase-site.xml中配置的mysql账号信息与mysql账号信息一致)，于是乎看别人的解决方法： 第一种解决办法（失败）[1]： 由于没有初始化数据库导致，执行名称初始化数据库，执行命令： schema ...
分类：
数据库 时间：
2021-05-24 16:48:31
阅读次数：
0
方案一： 如果是集成CDH环境，首先检查/etc/hive/conf目录下是不是有atlas-application.properties文件，如果没有，从atlas路径下copy一份过去 方案二： 如果确认文件已经有了，导入还是报错，强行修改import-hive.sh文件,指定HIVE_CP=/ ...
分类：
其他好文 时间：
2021-05-24 13:38:19
阅读次数：
0
1、首先查看当前数据库是否处于归档模式 可使用如下两种方式查看 1.1 select name, log_mode from v$database; log_mode的值为 NOARCHIVELOG 表示数据库处于非归档模式 log_mode的值为 ARCHIVELOG 表示数据库处于归档模式 1. ...
分类：
数据库 时间：
2021-05-24 05:27:16
阅读次数：
0
1.Spark SQL出现的 原因是什么? 随着Spark的发展，对于野心勃勃的Spark团队来说，Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出 ...
分类：
数据库 时间：
2021-05-24 04:53:04
阅读次数：
0
1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD),Spark SQL的前身是 Shark，由于 Shark过于依赖Hive，因此在版本迭代时很难添加新的 ...
分类：
数据库 时间：
2021-05-24 04:51:50
阅读次数：
0
1.Spark SQL出现的 原因是什么? 随着Spark的发展，对于野心勃勃的Spark团队来说，Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出 ...
分类：
数据库 时间：
2021-05-24 04:27:44
阅读次数：
0
