码迷,mamicode.com
首页 >  
搜索关键字:spark streaming flume 整合 avro netcat    ( 21554个结果
08 学生课程分数的Spark SQL分析
读学生课程分数文件chapter4-data01.txt,创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大于95分的学生人数? Tom选修了几门课?每 ...
分类:数据库   时间:2021-06-02 12:16:19    阅读次数:0
feign整合nacos
创建两个项目,服务提供者service-offer和服务消费者service-consumer 一、service-offer的pom文件 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot ...
分类:其他好文   时间:2021-06-02 11:44:54    阅读次数:0
Spark 通过 jdbc 写入 Clickhouse
说明 使用了自定义的数据库连接池,没有对连接做timeout处理,以后再完善。 由于jdbc不能完全支持clickhouse中的数据类型,采用raw sql的方式处理。 后期考虑封装Java对象到Clickhouse数据类型的映射。 插入时应采用批量写入,例子中的代码仅为测试目的,没有做封装。 <d ...
分类:数据库   时间:2021-06-02 10:35:03    阅读次数:0
总结随笔
1.项目预期计划 时间 计划安排 第十周 完成项目系统设计与数据库设计 第十一周 编写完善前端页面代码 第十二周 小实现前后端数据交互 第十三周 完部署应用到服务器 第十四周 调测试小程序,测试数据库 第十五周 优化小程序,上线 姓名 角色 任务分配 张劭捷 后端 数据库、前后端整合 蔡泽渊 后端 ...
分类:其他好文   时间:2021-05-25 17:52:28    阅读次数:0
08 学生课程分数的Spark SQL分析
用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 2.总共有多少学生? 3.总共开设了哪些课程? 4.每个学生选修了多少门课? 5.每门课程有多少个学生选? 6.每门课程大于95分的学生人数? 7.Tom选修了几门课?每门课多少分? 8. ...
分类:数据库   时间:2021-05-25 17:40:47    阅读次数:0
Spark 集群安装部署
安装准备 Spark 集群和 Hadoop 类似,也是采用主从架构,Spark 中的主服务器进程就叫 Master(standalone 模式),从服务器进程叫 Worker Spark 集群规划如下: node-01:Master node-02:Worker node-03:Worker 安装步 ...
分类:其他好文   时间:2021-05-24 17:07:05    阅读次数:0
08 学生课程分数的Spark SQL分析
08 学生课程分数的Spark SQL分析 一. 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现 ...
分类:数据库   时间:2021-05-24 17:01:32    阅读次数:0
08 学生课程分数的Spark SQL分析
读学生课程分数文件chapter4-data01.txt,创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 总共有多少学生? 总 ...
分类:数据库   时间:2021-05-24 16:59:25    阅读次数:0
名词解释之DevOps
DevOps(Development和Operations的组合词,研发运维一体化)是一组过程、方法与系统的统称,用于促进开发、技术运营和质量保障部门之间的沟通、协作与整合。 其目标是让开发人员和运维人员更好地沟通合作,通过自动化流程来使得软件整体过程更加快捷可靠。 虚拟机和容器都为DevOps提供 ...
分类:其他好文   时间:2021-05-24 16:57:45    阅读次数:0
08 学生课程分数的Spark SQL分析
一. 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 df_scs. ...
分类:数据库   时间:2021-05-24 16:51:04    阅读次数:0
21554条   上一页 1 ... 7 8 9 10 11 ... 2156 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!