读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每 ...
分类：
数据库 时间：
2021-06-02 12:16:19
阅读次数：
0
Kafka概述 Kafka是一个基于发布、订阅的分布式消息队列,用于大数据实时处理。 为什么要用kafka? 注册信息的过程,先在网站上填写注册信息,后台会调用其他服务的接口,反馈给网页注册成功信息,最后再显示给用户,并且将短信发送给用户,该过程为同步通信过程,需要同步等待，由于同步通信的过程比较慢 ...
分类：
其他好文 时间：
2021-06-02 12:12:15
阅读次数：
0
Nosql概述： 大数据时代，一般的数据库无法支撑 为什么要用NoSQL 用户的个人信息，社交网络，地理位置，用户自己产生的数据，用户的日志等等爆发式增长！ 这时候我们需要使用NoSQL数据库，可以很好的处理以上情况 什么是NoSQL NoSQL = Not Only SQL泛指非关系型数据库 No ...
分类：
其他好文 时间：
2021-06-02 11:55:43
阅读次数：
0
说明 使用了自定义的数据库连接池，没有对连接做timeout处理，以后再完善。 由于jdbc不能完全支持clickhouse中的数据类型，采用raw sql的方式处理。 后期考虑封装Java对象到Clickhouse数据类型的映射。 插入时应采用批量写入，例子中的代码仅为测试目的，没有做封装。 <d ...
分类：
数据库 时间：
2021-06-02 10:35:03
阅读次数：
0
对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多 ...
分类：
其他好文 时间：
2021-05-25 18:15:53
阅读次数：
0
用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 每个分数+5分。 2.总共有多少学生？ 3.总共开设了哪些课程？ 4.每个学生选修了多少门课？ 5.每门课程有多少个学生选？ 6.每门课程大于95分的学生人数？ 7.Tom选修了几门课？每门课多少分？ 8. ...
分类：
数据库 时间：
2021-05-25 17:40:47
阅读次数：
0
安装准备 Spark 集群和 Hadoop 类似，也是采用主从架构，Spark 中的主服务器进程就叫 Master（standalone 模式），从服务器进程叫 Worker Spark 集群规划如下： node-01：Master node-02：Worker node-03：Worker 安装步 ...
分类：
其他好文 时间：
2021-05-24 17:07:05
阅读次数：
0
08 学生课程分数的Spark SQL分析 一. 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现 ...
分类：
数据库 时间：
2021-05-24 17:01:32
阅读次数：
0
读学生课程分数文件chapter4-data01.txt，创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 每个分数+5分。 总共有多少学生？ 总 ...
分类：
数据库 时间：
2021-05-24 16:59:25
阅读次数：
0
一. 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 每个分数+5分。 df_scs. ...
分类：
数据库 时间：
2021-05-24 16:51:04
阅读次数：
0
