RuntimeError: Unexpected error from cudaGetDeviceCount()

안녕하세요, MoonLight입니다.

​

최근에 PyTorch를 이용하는 예전 어떤 Model을 다시 돌려야 할 일이 생겨서, 해당 Model을 찾아서 다시 실행시켜 봤습니다.

​

하지만, 분명 잘 돌아갔던 환경에서 Model을 실행시켰지만, 아래와 같은 Error를 토해내며 멈추어 버렸습니다.

RuntimeError: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 500: named symbol not found Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...

​

RuntimeError: Unexpected error from cudaGetDeviceCount() Error 발생

 

​

​

분명 잘 돌아갔던 Model인데 이상하다는 생각을 하면서 googling을 해보고 있는데, 먼저 GPU가 제대로 연결은 되어 있는지 부터 확인해 보았습니다.

​

​

​

음.. GPU가 아예 PyTorch랑 연결이 안되어 있는 것 같습니다. CUDA Driver가 뭔가 맞지 않는 것 같습니다.

​

​

 

​

​

현재 설치된 CUDA Driver는 12.6입니다.

​

제가 쓰던 Model은 PyTorch 2.0.1을 사용해야 해서 PyTorch를 다른 Version으로 재설치는 하지 못합니다.

​

PyTorch 2.0.1에 맞는 CUDA Driver Version은 아래와 같습니다.

 

​

PyTorch & CUDA Version Matching 확인

 

https://pytorch.org/get-started/previous-versions/

​

Previous PyTorch Versions

 

이 값들이 서로 충돌하면서 이와 같은 문제가 생기는 것 같습니다.

​

하지만, CUDA를 다른 것으로 설치한 적이 없는데, 이상하다...라고 생각하는 중에 nVidia Application으로 GPU Windows Driver Update한 것이 기억났습니다.

​

New Version으로 Update하면서 CUDA도 같이 바뀐 것 같네요.

​

예전 Driver를 찾아서 다시 설치해 주었습니다.

​

떨리는 마음으로 다시 실행해 봅니다.

 

 

​

​

잘 되네요. GPU Windows Driver Update 함부로 하면 안되겠네요.

​

도움이 되셨으면 좋겠네요. 읽어주셔서 감사합니다.