标签：使用 shell distrib 个人 tor org res lin 版本号
在 resource-types.xml，添加如下配置
<configuration>
<property>
<name>yarn.resource-types</name>
<value>yarn.io/gpu</value>
</property>
</configuration>
在 yarn-site.xml 中，DominantResourceCalculator 必须被配置以启用 GPU 调度和隔离。
对于 Capacity Scheduler，在 capacity-scheduler.xml 中使用如下参数以配置 DominantResourceCalculator：
| 参数 | 默认值 |
|---|---|
| yarn.scheduler.capacity.resource-calculator | org.apache.hadoop.yarn.util.resource.DominantResourceCalculator |
<property> <name>yarn.nodemanager.resource-plugins</name> <value>yarn.io/gpu</value> </property>
这将在 NodeManager 上启用 GPU 隔离模块。
如果配置了上述参数，YARN 会自动检测和配置 GPU。如果管理员由特殊的需求，以下参数需要在 yarn-site.xml 中配置。
1) 允许的 GPU 设备
| Property | Default value |
|---|---|
| yarn.nodemanager.resource-plugins.gpu.allowed-gpu-devices | auto |
指明由 Yarn NodeManager 管理的 GPU 设备，用逗号分隔。GPU 卡的数量将被汇报给 ResourceManager用于调度。默认值 auto 代表让 YARN 从系统中自动发现 GPU 卡。
如果自动探测会失败或者管理员只希望一部分的 GPU 卡被 Yarn 管理，请人为地指明可用的 GPU 卡。GPU 卡由次设备号和顺序索引来标识。可以通过执行 nvidia-smi -q 并在标准输出中查找 Minor Number 关键字，来获取 GPU 卡的次设备号。
当次版本号被特别指定，管理员还需要提供 GPU 卡的索引，格式是 index:minor_number[,index:minor_number...]。一个人为设定的示例是 0:0,1:1,2:2,3:4，由此 YARN NodeManager 将会管理索引为 0/1/2/3 且次版本号为 0/1/2/4 的 4 块 GPU 卡。
2) 发现 GPU 的可执行程序
| 参数 | 值 |
|---|---|
| yarn.nodemanager.resource-plugins.gpu.path-to-discovery-executables | /absolute/path/to/nvidia-smi |
当给定了 yarn.nodemanager.resource.gpu.allowed-gpu-devices=auto，Yarn NodeManager 将执行 GPU 发现的可执行程序（目前只支持 nvidia-smi）来收集 GPU 信息。如果值为空（默认值），YARN NodeManager 将尝试自行寻找，一个可能的位置是 /usr/local/bin/nvidia-smi。
3) Docker 插件相关的配置
当用户想在 Docker 容器中运行 GPU 程序，可以定制化以下配置项。如果管理员遵循了 nvidia-docker 的默认安装和配置流程，那就可以不配置。
| 参数 | 默认值 |
|---|---|
| yarn.nodemanager.resource-plugins.gpu.docker-plugin | nvidia-docker-v1 |
指定操作 GPU 的 Docker 命令插件。默认使用 Nvidia Docker V1.0。
| 参数 | 默认值 |
|---|---|
| yarn.nodemanager.resource-plugins.gpu.docker-plugin.nvidia-docker-v1.endpoint | http://localhost:3476/v1.0/docker/cli |
指定 nvidia-docker-plugin 的服务入口。请参阅 https://github.com/NVIDIA/nvidia-docker/wiki 以获得更多信息。
4) CGroup 挂载
GPU 隔离使用 CGroup 设备控制器 来实现 GPU 卡之间的隔离。为了自动挂载次设备到 CGRoup，以下配置要添加到 yarn-site.xml 文件中。否则，管理员必须人为地创建设备子目录以使用该功能。
| 参数 | 默认值 |
|---|---|
| yarn.nodemanager.linux-container-executor.cgroups.mount | true |
通常需要添加如下配置到 container-executor.cfg 中
[gpu] module.enabled=true
如果用户要在非 Docker 环境下运行 GPU 程序：
[cgroups] # 应和 yarn-site.xml 中的 yarn.nodemanager.linux-container-executor.cgroups.mount-path 保持一致 root=/sys/fs/cgroup # 应和 yarn-site.xml 中的 yarn.nodemanager.linux-container-executor.cgroups.hierarchy 保持一致 yarn-hierarchy=yarn
如果用户要在 Docker 环境下运行 GPU 程序：
1) 将 GPU 相关的设备添加到 Docker 段。
执行命令 ls /dev/nvidia* 获取 GPU 相关的设备，用逗号分隔将它们添加到配置文件中。
[docker] docker.allowed.devices=/dev/nvidiactl,/dev/nvidia-uvm,/dev/nvidia-uvm-tools,/dev/nvidia1,/dev/nvidia0
2) 将 nvidia-docker 添加到 volume-driver 白名单。
[docker] ... docker.allowed.volume-drivers
3) 添加 nvidia_driver_<version> 到只读挂载的白名单。
[docker] ... docker.allowed.ro-mounts=nvidia_driver_375.66
分布式 Shell 程序在内存和虚拟核之外，还支持申请更多的资源类型。
不使用 Docker 运行分布式 Shell 程序（申请 2 个任务，每个任务消费 3GB 内存、1 虚拟核和 2 块 GPU 卡）：
yarn jar <path/to/hadoop-yarn-applications-distributedshell.jar> -jar <path/to/hadoop-yarn-applications-distributedshell.jar> -shell_command /usr/local/nvidia/bin/nvidia-smi -container_resources memory-mb=3072,vcores=1,yarn.io/gpu=2 -num_containers 2
对于已经启动的任务，你将从日志中看到如下的输出：
Tue Dec 5 22:21:47 2017 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 375.66 Driver Version: 375.66 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | |===============================+======================+======================| | 0 Tesla P100-PCIE... Off | 0000:04:00.0 Off | 0 | | N/A 30C P0 24W / 250W | 0MiB / 12193MiB | 0% Default | +-------------------------------+----------------------+----------------------+ | 1 Tesla P100-PCIE... Off | 0000:82:00.0 Off | 0 | | N/A 34C P0 25W / 250W | 0MiB / 12193MiB | 0% Default | +-------------------------------+----------------------+----------------------+ +-----------------------------------------------------------------------------+ | Processes: GPU Memory | | GPU PID Type Process name Usage | |=============================================================================| | No running processes found | +-----------------------------------------------------------------------------+
同样可以使用 Docker 容器来允许分布式 Shell 程序，请提供 YARN_CONTAINER_RUNTIME_TYPE/YARN_CONTAINER_RUNTIME_DOCKER_IMAGE 来指明使用的镜像。
yarn jar <path/to/hadoop-yarn-applications-distributedshell.jar> -jar <path/to/hadoop-yarn-applications-distributedshell.jar> -shell_env YARN_CONTAINER_RUNTIME_TYPE=docker -shell_env YARN_CONTAINER_RUNTIME_DOCKER_IMAGE=<docker-image-name> -shell_command nvidia-smi -container_resources memory-mb=3072,vcores=1,yarn.io/gpu=2 -num_containers 2
标签：使用 shell distrib 个人 tor org res lin 版本号
原文地址：https://www.cnblogs.com/shishaochen/p/9654973.html
