背景

在docker 19版本之前，docker没有做容器中使用GPU的支持。nvidia团队根据OCI容器规范针对Docker、LXC以及Podman等虚拟容器进行了适配开发，并发布了NVIDIA Container Toolkit。概览传送门：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/overview.html。在docker中使用GPU相对比较麻烦。但是!
docker发布19版本后，在docker中使用GPU变得方便。docker添加了使用gpu的option。使得只需要一个option即可在容器中使用GPU，跳过了复杂的配置大大降低了使用难度。

在docker(version >= 19)中使用GPU

本机环境

宿主机系统：ubuntu16.04
nvidia driver:

Fri Apr  1 14:42:32 2022       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.56       Driver Version: 418.56       CUDA Version: 10.1     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 106...  Off  | 00000000:01:00.0  On |                  N/A |
| 33%   41C    P2    31W / 120W |   2899MiB /  6075MiB |      4%      Default |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
+-----------------------------------------------------------------------------+

cuda版本：10.1 cudnn版本 7.5

环境准备

下载docker version >=19
下载英伟达显卡驱动
下载nvidia-container-runtime
- 根据官方指引配置软件包仓库地址，之后执行
```
apt-get install nvidia-container-runtime
```
- check nvidia-container-runtime是否安装成功
```
which nvidia-container-runtime-hook
```
重启docker daemon
PS. nvidia-container-runtime的工作原理（此坑有时间填），基本原理是用钩子把宿主机显卡驱动映射到容器内。

向docker暴露GPUs

在启动容器时使用--gpus 使主机上的GPU可访问，并且可以配置使用多少块GPU。

docker run -it --rm --gpus all ubuntu nvidia-smi

将所有GPU暴露给容器，并调用“nvidia-smi"返回的结果：

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 384.130                Driver Version: 384.130                 |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GRID K520        Off  | 00000000:00:03.0 Off |                  N/A |
| N/A   36C P0    39W / 125W |      0MiB /  4036MiB |      0%   Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU      PID   Type   Process name                           Usage   |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

更详细的gpu配置强推官方指引：https://docs.docker.com/config/containers/resource_constraints/#access-an-nvidia-gpu

容易忽略的必要配置

在暴露GPU到容器时，包含capability选项，该选项制定了docker容器需要使用的GPU能力。
GPU能力包括：

compute：需要在docker中使用CUDA和OpenCL
compat32：需要在docker中运行32位程序
graphics: 需要在docker中使用OpenGL和Vulkan
utility：需要在docker中使用nvidia-smi 和 NVML
video：需要在docker中使用视频编解码
display：需要在docker中使用X11
在启动容器时需要为容器指定其需要的GPU能力，默认为utility。在深度学习开发中，往往需要cuda和cudnn此时需要添加compute能力。

指定capability的方法

为容器指定capability的方法有两种，

一是通过docker run时添加option，例如

docker run --gpus 'all,capabilities=utility' --rm ubuntu nvidia-smi

二是在dockerfile中设定环境变量
nvidia提供了多个环境变量用于配置GPU在docker中具体的行为，详情可参考：
https://github.com/NVIDIA/nvidia-container-runtime

使用cuda+cudnn的docker容器

推荐使用nvidia官方发布的镜像作为基础镜像。

nvidia cuda镜像

nvidia发布3个版本的cuda镜像： base， runtime， devel。三者的区别如下

Name	description
base	docker内包含最基本的用于部署预构建CUDA应用的库（libcudart），如果你希望自己安装指定版本的CUDA库，推荐使用该镜像
runtime	docker内包含所有CUDA +cudnn的运行时库，如果你的程序需要依赖CUDA+CUDNN，推荐使用此版本
devel	docker内除运行时库之外，还包含了CUDA编译器工具链以及debug工具，头文件，静态库，当需要在docker内编译依赖CUDA+CUDNN的项目（如OpenCV)时推荐使用此版本

补充

当然你可以在自己的base docker中安装cuda，cudnn等环境而非使用nvidia docker作为base，可以参考nvidia docker的Dockerfile进行自己的定制，传送门：https://gitlab.com/nvidia/container-images/cuda/-/tree/master/dist

如何在Docker中使用Nvidia GPU