task-scheduler-gpu 命名空间下的建模 pod 是 StartError:kubectl get pods -A | grep terra-job
task-scheduler-gpu fh2-pri-pf-terra-job-xxxxx 0/1 StartError 0 90sdescribe pod 的 Events / State.Message 里带这行签名:error running prestart hook #0: exit status 1 ...
nvidia-container-cli: initialization error: nvml error: driver/library version mismatch
nvidia-smi 报 mismatch,且运行中的模块版本与已安装版本不一致,即可确认。
版本号需以当前环境实际安装版本为准。只要操作更新了 NVIDIA 内核模块,通常都需要重启服务器。