필요하면 만드는 남자

배경 : 공고 데이터에서, 내용요약, 키워드 추출, 지원금액, 신청기간을 뽑아내는 작업을 하기로 했다.내용요약, 키워드 추출은 쉽게 해냈지만, 지원금액, 신청기간은 극악의 난이도를 자랑했다. 그 이유는 10장 내외의 pdf에서 한 군데만 있는 특정 정보(지원금액, 신청기간)를 추출해야 했기 때문이다. 로컬 LLM 프로젝트 빌딩시 어려웠던 점https://makenow90.tistory.com/44정리 : 프로젝트 하는데 실력으로 극복할수 없는(경험이 중요한) 멀티 변수 다뤄야하고, 좋은 GPU의 하드웨어 자원 그리고 아주 뛰어난 언어학적 재능까지 필요한 상황이다. 복잡해 보이지만LLM 프로젝트를 시작하기에 앞서 한가지 근본적인 질문을 던졌다."그래서 그 프로젝트 가능은 한거야?"이 질문에 대한 대답은 ..

배경conda로 cuda를 설치하는건 많았는데, poetry 환경에 CUDA를 설치하기가 생각보다 어려웠다.실습환경파워쉘의 프로젝트 가상환경 활성화(poetry shell) 이후 입력창과정poetry add가 먹히지 않기 때문에, 소스로부터 cuda를 추가해야한다.본인 컴퓨터에 맞는 cuda 버전 확인 (아래 링크 참조)티스토리CUDA 현재 날짜 기준 최신 12.5이지만, 동작하지 않았다. 11.8 추천11.8 버전에 맞는 모듈들 설치poetry 가상환경 활성화CUDA 11.8에 맞는 모듈 모음 링크를 소스로 등록위에 등록한 소스로부터 torch, torchvision, torchaudio 이 세 패키지를 가져와 설치PS C:\Users\project> poetry shell(.venv) PS C:\Us..

목표 : PDF의 내용을 이용해 rag 시스템 제작환경 : window 내 powershell 실습(시스템 구성)poetry를 이용해 새 프로젝트 제작PS C:\Users\weare\pro-ollama > poetry new pdf-rag만들어진 프로젝트 폴더로 이동PS C:\Users\weare\pro-ollama> cd pdf-ragpoetry 이용해서 프로젝트에 필요한 모듈들을 설치필요 모듈들 : langchain, rapidocr-onnxruntime, pypdf, chromadb, sentence-transformers PS C:\Users\weare\pro-ollama> poetry add langchain(이런식으로 하나씩 설치)프로젝트 폴더에 노트북 파일 생성 test.ipynb, 커널 선..

배경 : 도커허브에 ollama 공식 이미지를 제공해 주길래 시도. 혹시라도 내가 만들 서비스가 규모가 커져서, 쿠버네티스로 실행해야하는 상황이 올수도 있지 않을까.. ㅋ 실습환경 : 윈도우 내 리눅스 환경인 우분투에서 진행과정공식 도커 이미지 다운$ docker pull ollama/ollama내가 가지고 있는 Nvidia GPU 기반으로 실행하기 위해 환경설정공개 GPG 키를 다운로드하고 시스템에 설치 $ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg1줄: 주어진 URL에서 NVIDI..

HuggingFace가 뭔데HuggingFace는 자연어 처리(NLP) 모델과 데이터셋을 공유하고 배포하는 플랫폼입니다.다양한 사전 훈련된 언어 모델(Transformers)을 제공합니다.huggingface-cli를 사용하여 모델을 쉽게 다운로드할 수 있습니다.모델 다운로드 예시: huggingface-cli download --local-dir .커뮤니티와 연구자들이 모델과 데이터를 공유하고 협업할 수 있습니다.Ollama는 뭔데Ollama는 AI 모델을 생성하고 관리하는 도구입니다.다양한 형식의 모델 파일을 사용하여 새로운 AI 모델을 생성할 수 있습니다.Modelfile을 정의하여 모델의 설정을 지정합니다.모델 생성 예시: ollama create -f .Ollama 도구는 명령어 기반으로 ..