一、词频统计： 读文本文件生成RDD lines lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") lines.foreach(print) 将一行一行的文本分割成单词 words flatmap() words=lin ...
分类：
其他好文 时间：
2021-04-20 14:04:55
阅读次数：
0
解决问题-》有的放矢 1.spark 报错 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient reso ...
分类：
其他好文 时间：
2021-04-19 15:56:23
阅读次数：
0
meta 在cube.js 还是比较重要的（尽管当前没有太多的使用介绍），但是我们基于meta 可以进行 代码生成，进行数据分析处理（基于元数据，方便开发数据分析应用）,playground 就是集成了次 进行界面开发 参考代码 app.js const {prepareCompiler} = re ...
分类：
Web程序 时间：
2021-04-15 12:34:55
阅读次数：
0
由于对RocketMq的MessageQueue一直不理解，其实就是可以理解成consumeQueue 有原文为证 CommitLog：是消息主体以及元数据的存储主体，对CommitLog建立一个ConsumeQueue，每个ConsumeQueue对应一个（概念模型中的）MessageQueue， ...
分类：
其他好文 时间：
2021-04-13 12:55:31
阅读次数：
0
Debian软件包通常为预编译的二进制格式的扩展名".deb"，类似rpm文件，因此安装快速，无需编译软 件。包文件包括特定功能或软件所必需的文件、元数据和指令 dpkg:package manager for Debian，类似于rpm， dpkg是基于Debian的系统的包管理器。可 以安装，删 ...
分类：
系统相关 时间：
2021-04-13 12:54:26
阅读次数：
0
监控MySQL Server运行时资源消耗、资源等待，information_schema关注Server运行的元数据信息，performance_schema通过事件来实现监控，事件可以是函数调用、操作系统等待、或者sql语句的解析排序等阶段 其他特点： performance_schema不会随 ...
分类：
其他好文 时间：
2021-04-13 11:59:30
阅读次数：
0
一、大数据框架三种语义???? 在分布式系统中，如kafka、spark、flink等构成系统的任何节点都是被定义为可以彼此独立失败的。比如在 Kafka 中，broker 可能会 crash，在 producer 推送数据至 topic 的过程中也可能会遇到网络问题。根据 producer 处理此 ...
分类：
其他好文 时间：
2021-04-09 13:27:18
阅读次数：
0
最后我们用“Springboot中有哪些扩展点”这个话题来回顾一下Springboot的内容。SpringBoot和Spring中提供了很多扩展点，给开发者一个很大的灵活空间，按照启动的调用顺序，大概有如下扩展点。 ApplicationContextInitializerSpringboot中默认 ...
分类：
编程语言 时间：
2021-04-06 15:11:09
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类：
其他好文 时间：
2021-04-06 15:08:22
阅读次数：
0
1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能，因此它开始出现。因此，引入了Apache Spark，因为它可以实时执行流处理，也可以处理批处理。 除了实 ...
分类：
其他好文 时间：
2021-04-06 15:01:09
阅读次数：
0
