DAG ： 整个计算链可以抽象为一个DAG(有向无环图) Spark 的 DAG 作用： 记录了RDD之间的依赖关系，即RDD是通过何种变换生成的， 如下图：RDD1是RDD2的父RDD，通过flatMap操作生成 借助RDD之间的依赖关系，可以实现数据的容错， 即子分区(子RDD)数据丢失后，可以 ...
分类：
其他好文 时间：
2020-07-05 17:29:07
阅读次数：
56
1、统计出/etc/passwd文件中其默认shell为非/sbin/nologin的用户个数，并将用户都显示出来。 ~]# grep -v "/sbin/nologin" /etc/passwd | cut -d: -f1 root sync shutdown halt mageia slackw ...
分类：
系统相关 时间：
2020-07-05 17:28:20
阅读次数：
83
shell是壳的意思 在 Linux 的 shell 中，我们把 - 和 -- 加上一个字符（字符串）叫做命令行参数。主流的有下面几种风格Unix 风格参数 前面加单破折线 -BSD 风格参数 前面不加破折线GNU 风格参数 前面加双破折线Unix 风格参数 Unix风格的参数 一个减号，然后一个参 ...
分类：
系统相关 时间：
2020-07-05 17:13:52
阅读次数：
88
RDD概述 RDD：弹性分布式数据集，初学时，可以把RDD看做是一种集合类型（和Array，List类比） RDD的特点： ①有容错性，即数据丢失是可以恢复的 ②有分区机制，可以并行的处理RDD数据 创建RDD的2种方式： ①将一个普通的集合类型(Array或List) ②通过Spark读取外部存储 ...
分类：
其他好文 时间：
2020-07-05 15:15:06
阅读次数：
66
举例说明，现在我要创建一个batch.ch脚本，完成两件事，1.创建一个more.txt文件，2.在这个文件中写入：“我日你大爷” ...
分类：
系统相关 时间：
2020-07-05 12:03:04
阅读次数：
73
问题描述：执行shell脚本时报错Nosuchfileordirectory，而目录确实是存在的执行shell脚本时报错syntaxerrornearunexpectedtoken`elif‘[root@host1scripts]#bashmysql_full_backup.sh:Nosuchfileordirectory1:!/bin/sh:Nosuchfileordirectory14
分类：
系统相关 时间：
2020-07-05 10:38:32
阅读次数：
76
目录 目录摘要scp拷贝scp定义scp基本语法案例rsync远程同步工具定义基本语法案例集群分发脚本参考文献toc 摘要 搭建集群时往往多台服务器具有相同的配置，为避免重复工作，希望通过脚本同步配置 scp拷贝 scp定义 scp可以实现服务器与服务器之间的数据拷贝。（from server1 t... ...
分类：
其他好文 时间：
2020-07-05 00:54:41
阅读次数：
89
使用Power Shell Set-VMNetworkAdapterVlan cmdlet,可以在虚拟NIC上打开中继模式.我认为没有相同的GUI选项. Set-VMNetworkAdapterVlan -Trunk -AllowedVlanIdList "100,101" -VMName "VmN ...
分类：
其他好文 时间：
2020-07-05 00:43:14
阅读次数：
103
1、脚本化运行 大量的hive查询任务，如果用交互式shell来进行输入的话，显然效率及其低下，因此，生产中更多的是使用脚本化运行机制： 该机制的核心点是：hive可以用一次性命令的方式来执行给定的hql语句 hive -e "insert into table t_dest select * fr ...
分类：
其他好文 时间：
2020-07-05 00:34:10
阅读次数：
60
环境 Notebook docker环境 https://registry.hub.docker.com/r/jupyter/datascience-notebook/ 下载安装包 spark安装包 http://mirror.bit.edu.cn/apache/spark/spark-3.0.0/ ...
分类：
其他好文 时间：
2020-07-04 18:29:02
阅读次数：
83
