一. 通过GPU虚拟化技术对GPU显卡进行切分，粒度可以细化到0.1卡。譬如 NVIDIA  MPS或虚拟 GPU (vGPU) 技术，腾讯的vGPU开源项目、国内创业公司趋动科技的GPU虚拟化技术。

二. 建设基于K8S的一个GPU管理平台，通过平台的调度能力和配置策略来实现将一块GPU显卡分别加载到不同容器中使用。主要步骤如下：

1. 环境准备：
   （A） GPU节点安装好NVIDIA驱动和 nvidia-docker套件。
   （B）docker daemon运行时配置启动 nvidia runtime运行时。
   （C）在 Kubernetes 安装nvidia的k8s-device-plugin开启vGPU支持，

2. 在创建POD时，YAML中容器请求带上资源类型 nvidia.com/gpu，
      可以将POD调度到GPU节点上 。
     apiVersion: v1
   kind: Pod
   metadata: name: gpu-pod
   spec:
       containers:

     - name: cuda-container 
       image: nvidia/cuda:10.0-base 
       resources:
          limits: nvidia.com/gpu: 1