码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop hive parquet    ( 33788个结果
08 学生课程分数的Spark SQL分析
用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 2.总共有多少学生? 3.总共开设了哪些课程? 4.每个学生选修了多少门课? 5.每门课程有多少个学生选? 6.每门课程大于95分的学生人数? 7.Tom选修了几门课?每门课多少分? 8. ...
分类:数据库   时间:2021-05-25 17:40:47    阅读次数:0
Spark 集群安装部署
安装准备 Spark 集群和 Hadoop 类似,也是采用主从架构,Spark 中的主服务器进程就叫 Master(standalone 模式),从服务器进程叫 Worker Spark 集群规划如下: node-01:Master node-02:Worker node-03:Worker 安装步 ...
分类:其他好文   时间:2021-05-24 17:07:05    阅读次数:0
08 学生课程分数的Spark SQL分析
08 学生课程分数的Spark SQL分析 一. 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现 ...
分类:数据库   时间:2021-05-24 17:01:32    阅读次数:0
08 学生课程分数的Spark SQL分析
读学生课程分数文件chapter4-data01.txt,创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 总共有多少学生? 总 ...
分类:数据库   时间:2021-05-24 16:59:25    阅读次数:0
08 学生课程分数的Spark SQL分析
一. 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 df_scs. ...
分类:数据库   时间:2021-05-24 16:51:04    阅读次数:0
08 学生课程分数的Spark SQL分析
1.用DataFrame的操作或SQL语句完成以下数据分析要求: 2.总共有多少学生? 3.开设了多少门课程? 4.每个学生选修了多少门课? 5.每门课程有多少个学生选? 6.Tom选修了几门课?每门课多少分? 7.Tom的成绩按分数大小排序。 8.Tom的平均分。 9.每个分数+5分。 10.求每 ...
分类:数据库   时间:2021-05-24 16:49:50    阅读次数:0
打开hive后,show databases报错HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
启动hive时,show databases; 然后报错: 查看自己的配置文件没有问题(hbase-site.xml中配置的mysql账号信息与mysql账号信息一致),于是乎看别人的解决方法: 第一种解决办法(失败)[1]: 由于没有初始化数据库导致,执行名称初始化数据库,执行命令: schema ...
分类:数据库   时间:2021-05-24 16:48:31    阅读次数:0
人人都在谈的图数据库到底是个啥?
摘要: 图数据库,如果是刚接触的人,可能会被其字面意思所误导。其实,图数据库并不是指存储图片、图像的数据库,而是指存储图这种数据结构的数据库。那么图又是什么呢? 本文分享自华为云社区《图数据库到底是个啥》,原文作者:你好_TT 。 近些年来,在大数据处理过程中有一种被广泛提及和使用的数据库,那就是图 ...
分类:数据库   时间:2021-05-24 15:56:35    阅读次数:0
08 学生课程分数的Spark SQL分析
用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 df_scs.select('name', 'course', df_scs.score+5).show() 总共有多少学生? 总共开设了哪些课程? df_scs.select('name ...
分类:数据库   时间:2021-05-24 15:33:34    阅读次数:0
Flume对接HBASE报错:NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
方案一:手动拷贝需要的相关jar包 flume对接HBASE报错,找不到相关的类: 报错hbase相关日志: 18 五月 2021 17:25:50,633 ERROR [lifecycleSupervisor-1-2] (org.apache.flume.lifecycle.LifecycleSu ...
分类:Web程序   时间:2021-05-24 15:18:47    阅读次数:0
33788条   上一页 1 ... 11 12 13 14 15 ... 3379 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!