배경
conda로 cuda를 설치하는건 많았는데, poetry 환경에 CUDA를 설치하기가 생각보다 어려웠다.
실습환경
파워쉘의 프로젝트 가상환경 활성화(poetry shell) 이후 입력창
과정
- poetry add가 먹히지 않기 때문에, 소스로부터 cuda를 추가해야한다.
- 본인 컴퓨터에 맞는 cuda 버전 확인 (아래 링크 참조)
티스토리 - CUDA 현재 날짜 기준 최신 12.5이지만, 동작하지 않았다. 11.8 추천
- 11.8 버전에 맞는 모듈들 설치
- poetry 가상환경 활성화
- CUDA 11.8에 맞는 모듈 모음 링크를 소스로 등록
- 위에 등록한 소스로부터 torch, torchvision, torchaudio 이 세 패키지를 가져와 설치
PS C:\Users\project> poetry shell
(.venv) PS C:\Users\project> poetry source add torch_cu118 --priority=explicit https://download.pytorch.org/whl/cu118
(.venv) PS C:\Users\project> poetry add torch torchvision torchaudio --source torch_cu118
- 설치 됐는지 확인
- 파이썬 쉘 접속
- 코드 입력 후 cuda가 설치됐는지, 버전이 몇인지 확인
(.venv) PS C:\Users\project> python
>>> import torch
>>> print(torch.cuda.is_available())
True
>>> print(torch.version.cuda)
11.8
'로컬 LLM으로 공고 요약 전송 봇 만들기' 카테고리의 다른 글
로컬 llm으로 좋은 결과를 뽑아내기 위한 사투 (0) | 2024.08.15 |
---|---|
ollama 활용해 PDF rag 시스템 만들기 1 (0) | 2024.06.17 |
도커에서 ollama GPU 기반으로 실행하기 (1) | 2024.06.16 |
(window) HuggingFace의 모델(gguf) Ollama에서 쓰기 (0) | 2024.06.08 |