쿠버네티스 입문기 (3)

gpu 세팅은 별다를게 없습니다. 이전에 도커를 사용중이라면 그대로 사용하면 됩니다.

예전에 연구실 외국인들을 위해 작성해두었던 도커로 서버 세팅 기록을 남깁니다.

추가적으로 작업할것이 있는데 도커 기본 런타임을 nvidia-docker로 변경해야 합니다.

/etc/docker/daemon.json 파일을 수정하면 됩니다. 기본적으로 아래와 같은 세팅으로 되어있습니다.

$ cat /etc/docker/daemon.json
{
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

여기에 default 설정을 추가해줍니다.

$ cat /etc/docker/daemon.json
{
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

다음으로는 쿠버네티스에서 gpu를 사용하기 위해서 kubectl을 이용해서 nvidia-device-plugin을 설치 합니다. 이부분도 모두의 MLOps, nvidia-plugin에 잘 설명되어 있습니다.

$ kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.10.0/nvidia-device-plugin.yml

전 이상하게 모두의 MLOps 대로 하면 조회가 안되서 아래처럼 조회 했습니다.

$ kubectl get daemonset -n kube-system
NAME                             DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR            AGE
calico-node                      1         1         1       1            1           kubernetes.io/os=linux   21h
kube-proxy                       1         1         1       1            1           kubernetes.io/os=linux   21h
nvidia-device-plugin-daemonset   0         0         0       0            0           <none>                   5m18s

desired =0으로 되어 있는데 이상해서 찾아보니 조건이 다음과 같습니다.

Prerequisites
The list of prerequisites for running the NVIDIA device plugin is described below:
NVIDIA drivers ~= 384.81
nvidia-docker version > 2.0 (see how to install and it’s prerequisites)
docker configured with nvidia as the default runtime.
Kubernetes version >= 1.10 ​{: .prompt-info }

RTX3060 을 사용중이라 드라이버 버전을 만족하지 못하는것으로 아는데.. 이부분은 다음에 다시 살펴 보겠습니다.

더 자세한 설정법은 NVIDIA/k8s-device-plugin에서 확인이 가능합니다.