1. 准备文本文件： 从文件创建RDD lines=sc.textFile()： 筛选出含某个单词的行 lines.filter()，lambda 参数：条件表达式： 2. 生成单词的列表： 从列表创建RDD words=sc.parallelize()： 筛选出长度大于2 的单词 words.fi ...
分类：
其他好文 时间：
2021-06-07 20:04:33
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类：
其他好文 时间：
2021-06-07 20:04:10
阅读次数：
0
前言 BIO 、NIO 、AIO 总结 Unix网络编程中的五种IO模型 为了加深对 I/O多路复用机制 的理解，以及了解到多路复用也有局限性，本着打破砂锅问到底的精神，前面我们讲了BIO、NIO、AIO的基本概念以及一些常见问题，同时也回顾了Unix网络编程中的五种IO模型。本篇重点学习理解IO多 ...
分类：
其他好文 时间：
2021-06-06 19:45:37
阅读次数：
0
并发编程-JMM&Lock锁以及原理 JMM(Java Memory Model(Java内存模型)):我们都明白java是一个一次编译多处运行的语言，然而在不同的系统架构中拥有不同的内存模型，java是一个跨平台的虚拟系统，所以他有制定了自己的内存模型，内存模型描述了程序中各个变量之间的关系，以及 ...
分类：
其他好文 时间：
2021-06-06 19:37:34
阅读次数：
0
2021年6月5日下午列车讨论： 1.类属性本身不需要实例化也可以调用。 2.实例化之后得到的就是实例属性，就是专属于各个实例自己的属性，就是初始化方法__init__里面那些self.xxx=xxx。 这里的self是一个占位符，直接指向实例对象，也就是说，如果是实例对象的方法或者属性，就一定要添 ...
分类：
其他好文 时间：
2021-06-06 19:22:32
阅读次数：
0
1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Data ...
分类：
数据库 时间：
2021-06-06 19:05:46
阅读次数：
0
一、 消息队列概述 消息队列是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。 通过提供消息传递和消息排队模型，它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步 等等功能，其作为 分布式系统架构 中的一个重要组件，有着举足 ...
分类：
其他好文 时间：
2021-06-06 18:50:48
阅读次数：
0
往期周报汇总地址：http://www.armbbs.cn/forum.php?mod=forumdisplay&fid=12&filter=typeid&typeid=104 1、村田和Cooler Master合作开发200μm热导板，世界上最薄的电子设备散热器 随着电子设备实现更高的性能和更先 ...
分类：
其他好文 时间：
2021-06-05 18:31:07
阅读次数：
0
感悟 ? 领导语录: 直接写code是最简单的事情了，因为已经明确了怎么做、做成什么样、需要和谁交互等等 真正好的程序员一定对于产品有着清晰的认识以及自己的想法，不是说程序员就一定是天天code，也不是说做产品有多么多么的不好，在完成功能过程中，对产品的合理以及不合理进行及时反思QA，这样才是自己l ...
分类：
其他好文 时间：
2021-06-05 18:28:45
阅读次数：
0
shell 编程 一、Shell 变量 定义变量时，变量名不加美元符号（$，PHP语言中变量需要），如： your_name="runoob.com" 注意，变量名和等号之间不能有空格，这可能和你熟悉的所有编程语言都不一样。同时，变量名的命名须遵循如下规则： 命名只能使用英文字母，数字和下划线，首个 ...
分类：
系统相关 时间：
2021-06-05 18:22:55
阅读次数：
0
