전체 글 99

Transformer와 GPT3까지 발전 과정 (LLM 역사와 발전2)

이전 내용https://makenow90.tistory.com/56Transformer와 GPTTransformerGoogle에서 제안된 모델로, 번역과 같은 시퀀스 작업에 활용되며 LLM의 기초가 됩니다.인코더-디코더 구조를 사용하며, 병렬 처리 덕분에 효율적이고 강력한 성능을 발휘합니다.Attention 메커니즘을 중심으로 모든 입력 간의 관계를 파악하여 정보를 처리합니다.llm의 베이스가 되는 기술이라 보면된다.GPT-1OpenAI에서 개발한 모델로, Transformer의 디코더 부분을 활용하여 언어 생성과 이해 능력을 향상시켰습니다.사전 훈련 후 파인 튜닝을 통해 텍스트 생성, 번역, 요약 등 다양한 언어 작업에서 뛰어난 성능을 보였습니다.언어 모델링을 통해 다음 단어를 예측하는 방식으로 텍스트..

langchain 공부 2024.09.01

딥러닝 모델의 변화와 Transformer의 탄생(LLM 역사와 발전1)

발전과정시퀀스 데이터개념시퀀스 모델(Sequence Model)은 순차적으로 연속된 데이터(시퀀스 데이터)를 처리하고 분석하기 위해 설계된 모델입니다. 시퀀스 데이터는 시간이 흐르거나 특정 순서에 따라 나열된 데이터로, 예를 들어 텍스트, 음성, 동영상, 주식 가격 데이터 등이 이에 해당.시퀀스 데이터 특징순서가 중요한 데이터 처리: 시퀀스 모델은 입력 데이터의 순서를 고려합니다. 예를 들어, 문장의 단어 순서, 주식 가격의 시간순서, 음성 데이터의 샘플 순서 등에서 데이터가 주어지면, 이 순서를 유지하면서 정보를 처리하고 예측하는 역할을 합니다.이전 정보의 활용: 시퀀스 모델은 현재의 데이터뿐만 아니라, 이전의 데이터(이전 시간 단계나 이전 위치의 정보)를 이용하여 다음에 나올 데이터를 예측하거나 현재..

langchain 공부 2024.09.01

RunnablePassthrough() 사용 이유

배경테디노트님의 강의를 보면서 카피하면서 RAG를 만들다가, 그냥 바로 질문 변수를 전달해도 될것 같은데, 사용하는지, 사용 이유가 궁금해 졌다. RunnablePassthrough: 전체 개요 및 정리RunnablePassthrough는 LangChain에서 사용하는 Runnable의 일종으로, 입력 데이터를 수정하지 않고 그대로 다음 단계로 전달하는 데 사용됩니다. 주로 체인에서 데이터 흐름을 제어할 때 유용하며, 특히 질문이나 다른 입력이 동적으로 변경될 가능성이 있는 경우에 많이 사용됩니다.기본 개념:핵심 역할: RunnablePassthrough의 핵심 역할은 입력된 데이터를 그대로 받아, 처리 없이 다음 단계로 전달하는 것입니다. 이는 체인 내에서 특정 데이터 흐름을 유지하고, 필요한 경우 그..

langchain 공부 2024.08.29