（1）MR程序提交到客户端所在的节点。（2）YarnRunner向ResourceManager申请一个Application。（3）RM将该应用程序的资源路径返回给YarnRunner。（4）该程序将运行所需资源提交到HDFS上。（5）程序资源提交完毕后，申请运行mrAppMaster。（6）RM ...
分类：
其他好文 时间：
2020-07-04 15:14:37
阅读次数：
54
切片机制源码： ①for (FileStatus file: files) 每个文件单独切片。 ②long length = file.getLen() 获取文件大小。 ③while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) SPLIT_S ...
分类：
其他好文 时间：
2020-07-04 11:49:16
阅读次数：
106
工作流程1 Map Task MR工作流程2 Reduce Task 1）提交切片信息，jar包，和xml配置文件到yarn。2）Yarn ResourceManager启动一个MR AppMaster。3）AppMaster根据切片信息启动相应数量的Map Task。4）Map Task取读取按照 ...
分类：
其他好文 时间：
2020-07-03 23:29:37
阅读次数：
60
1. 背景描述和需求 数据分析程序部署在Docker中，有一些分析计算需要使用Spark计算，需要把任务提交到Spark集群计算。 接收程序部署在Docker中，主机不在Hadoop集群上。与Spark集群网络互通。 需求如下 1、在Docker中可程序化向Spark集群提交任务 2、在Docker ...
分类：
其他好文 时间：
2020-07-03 19:06:43
阅读次数：
62
存储越困难，提取越容易 HDFS客户端操作 开发环境准备 步骤一：编译对应HadoopJar包，配置Hadoop变量 步骤二：创建Maven工程，导入pom依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>juni ...
分类：
其他好文 时间：
2020-07-03 17:56:31
阅读次数：
59
今天帮一个同学修改剧本，说是跑不起来服务，中间报错，我就直接修改好放在这，以后供大家浏览看看，虽然写的一般，但是起码功能实现了，哈哈 做该实验起码先把mariadb-10.2.32.tar.gz包下载下来，大概441M。 编译安装mariadb-10.2.32 1.制作mysql的配置文件 [mys ...
分类：
数据库 时间：
2020-07-03 15:27:28
阅读次数：
78
准备4台虚拟机，安装好ol7.7，分配固定ip192.168.168.11 12 13 14，其中192.168.168.11作为master，其他3个作为slave，主节点也同时作为namenode的同时也是datanode，192.168.168.14作为datanode的同时也作为second... ...
分类：
其他好文 时间：
2020-07-03 12:23:28
阅读次数：
70
1、简要描述如何安装配置一个apache开源版hadoop，描述即可 （1）解压Hadoop （2）配置JDK，防火墙、Hadoop环境 （3）修改Hadoop配置 （4）格式化namenode，对数据缓存的的路径进行格式化 （5）启动Hadoop 2、请列出正常工作的hadoop集群中hadoop ...
分类：
其他好文 时间：
2020-07-03 00:53:22
阅读次数：
83
Ansible命令行参数解析 Define and run a single task 'playbook' against a set of hosts positional arguments: pattern host pattern optional arguments: --ask-vau ...
分类：
其他好文 时间：
2020-07-02 21:30:47
阅读次数：
52
####ansible 使用剧本一键安装mysql 这里使用的没有联网安装 自己准备了安装包以及依赖关系(安装包都是放在了/sof,yum可以多个共存) `` [root@localhost ~]# createrepo //sof [root@localhost ~]# ls //sof [roo ...
分类：
数据库 时间：
2020-07-01 22:18:59
阅读次数：
105
