필요하면 만드는 남자

서버 없는 초 저비용 rag 인프라 구상배경1. 얼마전 3090 중고 본체를 샀다. 나는 뭘 사면 최대한 뽑아 먹어야 한다.2. 하나의 본체로 외부의 rag 작업을 처리하면서, 내 로컬의 작업도 처리하고 싶었다.3. 3090이 여전히 좋은 GPU긴 하지만 여러 작업을 한번에 처리하는데 무리가 있다.4. 작업을 순서대로 하나 씩 처리하면 좋겠다고 생각했다.5. 작업을 순서대로? 쌓아 놓고? 머릿속에 큐가 떠올랐다. 인프라 구조 질답 서버 : 디코에서 다른 사람이 질문을 올리면 가져와서 큐에 올린다.내 로컬의 작업도 큐에 올린다.LLM 추론서버 : 큐에서 작업을 받아서 LLM 작업을 하나씩 실행한다. 이때 우선순위에 따라 디코 질문은 빠르게 처리하고, 내 로컬 작업은 우선순위를 낮게 설정한다. ( 말하자면 ..

이전 내용https://makenow90.tistory.com/56Transformer와 GPTTransformerGoogle에서 제안된 모델로, 번역과 같은 시퀀스 작업에 활용되며 LLM의 기초가 됩니다.인코더-디코더 구조를 사용하며, 병렬 처리 덕분에 효율적이고 강력한 성능을 발휘합니다.Attention 메커니즘을 중심으로 모든 입력 간의 관계를 파악하여 정보를 처리합니다.llm의 베이스가 되는 기술이라 보면된다.GPT-1OpenAI에서 개발한 모델로, Transformer의 디코더 부분을 활용하여 언어 생성과 이해 능력을 향상시켰습니다.사전 훈련 후 파인 튜닝을 통해 텍스트 생성, 번역, 요약 등 다양한 언어 작업에서 뛰어난 성능을 보였습니다.언어 모델링을 통해 다음 단어를 예측하는 방식으로 텍스트..

LCEL 사용예from langchain_openai import ChatOpenAIfrom langchain_core.prompts import PromptTemplatefrom langchain_core.output_parsers import StrOutputParser# ChatOpenAI 모델을 인스턴스화합니다.model = ChatOpenAI()# 주어진 토픽에 대한 농담을 요청하는 프롬프트 템플릿을 생성합니다.prompt = PromptTemplate.from_template("{topic} 에 대하여 3문장으로 설명해줘.")# 프롬프트와 모델을 연결하여 대화 체인을 생성합니다.chain = prompt | model | StrOutputParser()LCEL 종류 및 기능동기 메소드(마지막에..