场景在当前项目中，因为之前使用数据库查询，而随着数据的增多，查询速度会越来越慢，所以需要使用Java来调用hive进行数据统计。本篇博文主要是使用springboot+hive来查询hive数据，并返回查询的数据结果。 环境软件 版本springboot 2.1.8.RELEASECDH 5.15. ...
分类：
编程语言 时间：
2021-06-02 15:43:55
阅读次数：
0
1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql ...
分类：
数据库 时间：
2021-06-02 15:40:05
阅读次数：
0
本文转自:https://www.cnblogs.com/chhyan-dream/p/12013463.html 1、概述 为了更好地理解调度，我们先看一下集群模式的Spark程序运行架构图，如上所示： 2、Spark中的基本概念 1、Application：表示你的程序 2、Driver：表示m ...
分类：
其他好文 时间：
2021-06-02 15:22:12
阅读次数：
0
安装启动检查Mysql服务。 netstat -tunlp (3306) spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 启动 Mysql she ...
分类：
数据库 时间：
2021-06-02 15:02:56
阅读次数：
0
读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每 ...
分类：
数据库 时间：
2021-06-02 12:16:19
阅读次数：
0
说明 适用平台：头歌（Educoder）实践教学平台 适用实训： Hive综合应用案例——学生成绩查询 Hive综合应用案例——用户学历查询 Hive综合应用案例——用户搜索日志分析 注意： 看清楚上面说的实训是不是和你需要做的实训是同一个实训！！！ 如果是同一个实训，直接复制粘贴代码，然后点击测评 ...
分类：
其他好文 时间：
2021-06-02 11:35:33
阅读次数：
0
说明 使用了自定义的数据库连接池，没有对连接做timeout处理，以后再完善。 由于jdbc不能完全支持clickhouse中的数据类型，采用raw sql的方式处理。 后期考虑封装Java对象到Clickhouse数据类型的映射。 插入时应采用批量写入，例子中的代码仅为测试目的，没有做封装。 <d ...
分类：
数据库 时间：
2021-06-02 10:35:03
阅读次数：
0
用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 每个分数+5分。 2.总共有多少学生？ 3.总共开设了哪些课程？ 4.每个学生选修了多少门课？ 5.每门课程有多少个学生选？ 6.每门课程大于95分的学生人数？ 7.Tom选修了几门课？每门课多少分？ 8. ...
分类：
数据库 时间：
2021-05-25 17:40:47
阅读次数：
0
安装准备 Spark 集群和 Hadoop 类似，也是采用主从架构，Spark 中的主服务器进程就叫 Master（standalone 模式），从服务器进程叫 Worker Spark 集群规划如下： node-01：Master node-02：Worker node-03：Worker 安装步 ...
分类：
其他好文 时间：
2021-05-24 17:07:05
阅读次数：
0
08 学生课程分数的Spark SQL分析 一. 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现 ...
分类：
数据库 时间：
2021-05-24 17:01:32
阅读次数：
0
