전체 글 99

langchain 기초

출처 : 유튜버 테디 노트의 위키를 보고 공부했으며 아래 링크에 훨씬 더 자세한 설명이 있어.저 링크를 보고 공부하기를 권장함. 이 포스트는 목적은 개인 공부라 설명이 부족할 수 있고.붙여넣은 내용이 다수 포함돼, 수익창출 목적이 없음.https://wikidocs.net/233341langchain을 쓰는 주된이유문맥 인식 : 질문할때 문맥도 입력할수 있다. 이 말은 다양한 형태(PDF,링크)의 내용을 근거로 해서 인사이트를 이끌 수 있다는거다.추론 기능 : 단지 존재하는 자료로부터 정보를 이끌어내는것 말고도, 정보가 없더라도 자료로부터 추론해 답을 낼수 있다. 이거는 모델을 만들다 보면 깨닫았는데, 쓰기에 따라 장점이 되기도 하고, 허위 정보를 이끌어내는 단점이 되기도 한다.현재 주로 만들고 있는것 ..

langchain 공부 2024.07.29

개발 환경과 유용한 툴 설명

개발 환경과 툴 설명로컬 IDEVS코드 내 LLM 활용코파일럿: GitHub에서 제공하는 AI 기반 코드 작성 도구로, 코드 자동 완성과 코드 제안을 통해 개발 생산성을 높입니다.Cursor: 코드 편집 시 문맥을 이해하여 코드 내비게이션, 참조 검색 등을 쉽게 할 수 있도록 도와주는 도구입니다.VS코드 내 공유 작업공동공유코딩: 실시간으로 여러 명이 동시에 같은 코드베이스에서 작업할 수 있게 하여 협업을 강화합니다.Live Share: 다른 사용자가 원격으로 VS코드 세션에 접속하여 코드를 보고 편집할 수 있게 하여 원격 협업과 코드 리뷰를 가능하게 합니다.사용 모듈의 문법 변경 시Mention: 변경된 문법을 코드 내에서 언급하고 공식 문서에 링크를 연결하여 팀원들이 최신 정보를 쉽게 접근할 수 있게..

사용툴 분석 2024.07.26

ValueError: Ollama call failed with status code 500. Details: {"error":"llama runner process has terminated: CUDA error\""}

배경로컬에서 언어모델 돌리는데,자꾸 실패함.문제는 재부팅하고 초기에는 돌아갈때도 있음.오류 내용ValueError: Ollama call failed with status code 500. Details: {"error":"llama runner process has terminated: CUDA error""}과정구글에는 자료가 정말 거의 없었다.GPT에서는 메모리 문제 라고 나와, 처음에는 RAM 을 조절. llm이 동작하는 운영체제의 RAM을 더 할당함똑같은 방식으로 실패함.현재 언어모델 EEVE-Korean-10.8B로 7.7기가 (용량이 더 작은 언어모델 llama3 다운받아 테스트 해봄)결과 llama3만 동작, 재부팅하고 초반에는 EEVE-Korean-10.8B도 동작하나, 다른 프로세스 동..