DAG ： 整个计算链可以抽象为一个DAG(有向无环图) Spark 的 DAG 作用： 记录了RDD之间的依赖关系，即RDD是通过何种变换生成的， 如下图：RDD1是RDD2的父RDD，通过flatMap操作生成 借助RDD之间的依赖关系，可以实现数据的容错， 即子分区(子RDD)数据丢失后，可以 ...
分类：
其他好文 时间：
2020-07-05 17:29:07
阅读次数：
56
RDD概述 RDD：弹性分布式数据集，初学时，可以把RDD看做是一种集合类型（和Array，List类比） RDD的特点： ①有容错性，即数据丢失是可以恢复的 ②有分区机制，可以并行的处理RDD数据 创建RDD的2种方式： ①将一个普通的集合类型(Array或List) ②通过Spark读取外部存储 ...
分类：
其他好文 时间：
2020-07-05 15:15:06
阅读次数：
66
主要针对有强迫症的同学 比如c:分区320G，打开https://www.iplaysoft.com/tools/partition-calculator/ 得到值是327686，然后系统分区和MSR分别100M，16M，加起来就是327802M 一般情况下是有恢复分区的（通常450M），加起来就是 ...
分类：
其他好文 时间：
2020-07-05 15:11:46
阅读次数：
66
1.忘记root密码，除了可采用进入单用户维护模式外，还可以利用LiveCD来挂载根目录将root密码清除后，再重新修改。 2.将CentOS6开机时的第一启动设备修改成CD-RAM.(修改BIOS) 3.进入LiveCD系统后，挂载根目录所在的系统分区： 4.将root用户的密码清除后，将第一启动 ...
分类：
其他好文 时间：
2020-07-05 00:19:31
阅读次数：
127
ubuntu16.04 1.制作安装启动U盘 UltraISO 启动 写入硬盘映像 如果写入方式选择USB-HDD+或者USB-HDD无法启动，那就把写入方式换成RAW。 隐藏启动分区选择--写入新的驱动器引导扇区--Syslinux 2.安装 如果英语不是非常厉害，就不要折腾，选择中文。 分区：个 ...
分类：
系统相关 时间：
2020-07-04 18:55:25
阅读次数：
104
工作流程1 Map Task MR工作流程2 Reduce Task 1）提交切片信息，jar包，和xml配置文件到yarn。2）Yarn ResourceManager启动一个MR AppMaster。3）AppMaster根据切片信息启动相应数量的Map Task。4）Map Task取读取按照 ...
分类：
其他好文 时间：
2020-07-03 23:29:37
阅读次数：
60
《Windows Azure Platform 系列文章目录》 之前遇到1个问题，在这里记录一下。 我在使用Cosmos DB的时候，遇到了查询不到数据的问题。解决方案如下： 我们设计的Collection，分区键是/id 1.如果查询是按照分区键查询的，则命中率会很高，比如查询条件里面，是按照分区 ...
分类：
数据库 时间：
2020-07-03 15:53:50
阅读次数：
63
https://jingyan.baidu.com/article/75ab0bcb8736fcd6864db209.html 1.磁盘阵列是现今非常流行的一种磁盘管理技术，通常称为独立磁盘冗余阵列，也简称为磁盘阵列。按现在流行的等级可分为raid0 raid1 raid2 raid3 raid4 ...
分类：
其他好文 时间：
2020-07-03 15:39:40
阅读次数：
57
inotify-tools3.14版本永久链接 链接： inotify-tools-3.14提取码：15t5 概要：为什么需要监控系统文件？ 跟踪某些关键的系统文件的变化 通知配置文件的改变 监控某个分区磁盘的整体情况 Inotify到底是做什么的？ Inotify是一种文件变化通知机制，linux ...
分类：
系统相关 时间：
2020-07-03 15:18:14
阅读次数：
76
设备文件 一切皆文件：open(), read(), write(), close()设备文件：关联至一个设备驱动程序，进而能够跟与之对应硬件设备进行通信设备号码： 主设备号：major number, 标识设备类型 次设备号：minor number, 标识同一类型下的不同设备设备类型： 块设备： ...
分类：
其他好文 时间：
2020-07-03 12:55:49
阅读次数：
69
