1. 准备文本文件： 从文件创建RDD lines=sc.textFile()： 筛选出含某个单词的行 lines.filter()，lambda 参数：条件表达式： 2. 生成单词的列表： 从列表创建RDD words=sc.parallelize()： 筛选出长度大于2 的单词 words.fi ...
分类：
其他好文 时间：
2021-06-07 20:04:33
阅读次数：
0
读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每 ...
分类：
数据库 时间：
2021-06-07 19:58:41
阅读次数：
0
1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql ...
分类：
数据库 时间：
2021-06-06 19:08:48
阅读次数：
0
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E ...
分类：
其他好文 时间：
2021-06-06 19:08:07
阅读次数：
0
1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Data ...
分类：
数据库 时间：
2021-06-06 19:05:46
阅读次数：
0
vip视频教程 IT自学视频教程 编程教程Flink+ClickHouse 玩转企业级实时大数据开发 vip视频教程 IT自学视频教程 编程教程Flink+ClickHouse 玩转企业级实时大数据开发（8章）已经在做大数据，Flink让你轻松提薪；尚未入行大数据，Flink让你弯道超车 Flink ...
分类：
其他好文 时间：
2021-06-03 17:40:23
阅读次数：
0
### 包扫描 <dubbo:annotation package="com.code_g.service" /> 服务提供者和服务消费者都需要配置，表示包扫描，作用是扫描指定包(包括子包)下的类。 方式发布和引用服务，一个配置项(<dubbo:service>、<dubbo:reference>) ...
分类：
其他好文 时间：
2021-06-02 20:46:39
阅读次数：
0
Flink CEP CEP 复杂事件处理： 根据事件时间的时序关系和聚合关系定制检测规则,持续的从事件流中查询出符合需求的事件序列,分析后得到更复杂的复合事件。 说明： 1.CEP是支持事件乱序的,根据事件时间和WaterMark来判断数据的顺序。 2.Spark内部没有集成CEP,但是有解决方案, ...
分类：
其他好文 时间：
2021-06-02 20:18:35
阅读次数：
0
大数据在教育行业中的应用越来越广泛，这个趋势主要表现在以下几个方面：1、教育数据采集与深度分析成为各应用系统的必备功能；2、教育大数据产品体系更加丰富、多样化；3、教育大数据产业链分工更加精细化、服务更加专业化；4、教育数据安全与隐私受到广泛关注，成为产品质量评估的核心指标等。 我们来看看国内知名B ...
分类：
其他好文 时间：
2021-06-02 20:07:40
阅读次数：
0
spark连接mysql数据库 安装启动检查Mysql服务。netstat -tunlp (3306) spark 连接mysql驱动程序。 cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/lo ...
分类：
数据库 时间：
2021-06-02 19:08:19
阅读次数：
0
