로컬 LLM으로 공고 요약 전송 봇 만들기

poetry 환경에서 GPU(CUDA) 사용 가능하게 하기

필만이 2024. 6. 30. 16:21

배경

conda로 cuda를 설치하는건 많았는데, poetry 환경에 CUDA를 설치하기가 생각보다 어려웠다.

실습환경

파워쉘의 프로젝트 가상환경 활성화(poetry shell) 이후 입력창

과정

  • poetry add가 먹히지 않기 때문에, 소스로부터 cuda를 추가해야한다.
  • 본인 컴퓨터에 맞는 cuda 버전 확인 (아래 링크 참조)
    티스토리
  • CUDA 현재 날짜 기준 최신 12.5이지만, 동작하지 않았다. 11.8 추천
  • 11.8 버전에 맞는 모듈들 설치
    1. poetry 가상환경 활성화
    2. CUDA 11.8에 맞는 모듈 모음 링크를 소스로 등록
    3. 위에 등록한 소스로부터 torch, torchvision, torchaudio 이 세 패키지를 가져와 설치
PS C:\Users\project> poetry shell
(.venv) PS C:\Users\project> poetry source add torch_cu118 --priority=explicit https://download.pytorch.org/whl/cu118
(.venv) PS C:\Users\project> poetry add torch torchvision torchaudio --source torch_cu118
  • 설치 됐는지 확인
    1. 파이썬 쉘 접속
    2. 코드 입력 후 cuda가 설치됐는지, 버전이 몇인지 확인
(.venv) PS C:\Users\project> python
>>> import torch
>>> print(torch.cuda.is_available())
True
>>> print(torch.version.cuda)
11.8