필요하면 만드는 남자

코파일럿은 어디서나 사용이 가능하지만 , 새로운 칩이 있어 더 빠르다고 한다. 기대된다 ㄷㄷ

퓨샷 프롬프트(FewShotPromptTemplate)모델이 수행해야 하는 작업이 복잡하거나 구조화된 경우, 몇 가지 예제를 제공함으로써 모델이 그 패턴을 학습하고 더 정확하게 응답할 수 있도록 도움을 줌일반적인 NLP 태스크(번역, 텍스트 생성 등)에서 Few-Shot Learning을 적용하기 위해 사용# 결과를 실시간 스트리밍 출력 하는법, langchain_teddynote 모듈 설치from langchain_teddynote.messages import stream_response# 질의내용question = "문재인에 대해 알려줘"# 질의answer = llm.stream(question)stream_response(answer)문재인은 2017년부터 2022년까지 대한민국의 제19대 대통령을..

프롬프트 기초프롬프트 개념프롬프트 단계는 검색기에서 검색된 문서들을 바탕으로 언어 모델이 사용할 질문이나 명령을 생성하는 과정입니다. 이 단계는 검색된 정보를 바탕으로 최종 사용자의 질문에 가장 잘 대응할 수 있는 응답을 생성하기 위해 필수적인 단계프롬프트 필요성문맥(Context) 설정: 프롬프트는 언어 모델이 특정 문맥에서 작동하도록 설정하는 역할을 합니다. 이를 통해 모델은 제공된 정보를 바탕으로 보다 정확하고 관련성 높은 답변을 생성할 수 있습니다.정보 통합: 여러 문서에서 검색된 정보는 서로 다른 관점이나 내용을 포함할 수 있습니다. 프롬프트 단계에서 이러한 정보를 통합하고, 모델이 이를 효율적으로 활용할 수 있는 형식으로 조정합니다.응답 품질 향상: 질문에 대한 모델의 응답 품질은 프롬프트의 ..

continue가 뭔데? 씹덕아복붙 필요없는 GPT (ctr +L)공식 문서 이용 하이퀄리티 답변 생성코딩중 오류나오는 즉시 판단(ctr + 위방향키 +R) 초기 코드 생성 (ctr +I)주석대로 코드 생성로컬 gpt라고는 했지만 AI를 조수로 두고 코딩을 같이하는 툴이라고 보면된다.continue에 대한 더 많은 정보는 https://docs.continue.dev/intro미리 할것ollama 설치https://ollama.com/downloadllm GPU 기반으로 실행하게 CUDA 설치( CPU 기반 실행보다 빠름)(윈도우에 CUDA 설치하기 https://teang1995.tistory.com/17)과정vscode 접속extension or 확장 탭 클릭continue 검색 후 다운continu..

LCEL 사용예from langchain_openai import ChatOpenAIfrom langchain_core.prompts import PromptTemplatefrom langchain_core.output_parsers import StrOutputParser# ChatOpenAI 모델을 인스턴스화합니다.model = ChatOpenAI()# 주어진 토픽에 대한 농담을 요청하는 프롬프트 템플릿을 생성합니다.prompt = PromptTemplate.from_template("{topic} 에 대하여 3문장으로 설명해줘.")# 프롬프트와 모델을 연결하여 대화 체인을 생성합니다.chain = prompt | model | StrOutputParser()LCEL 종류 및 기능동기 메소드(마지막에..

선행지식토큰화 : 텍스트를 의미 있는 단위(토큰)로 나누는 과정입니다. 이 단위는 단어, 문장, 문단, 심지어 더 작은 단위일 수도 있습니다. 토큰화는 NLP의 첫 번째 단계로, 원시 텍스트 데이터를 처리 가능한 형태로 변환파싱 : 토큰화된 텍스트를 구조화된 형식으로 변환하는 과정. 이 과정은 구문 분석(Syntax Parsing), 의미 분석(Semantic Parsing), 그리고 구문 트리(Syntax Tree)나 추상 구문 트리(Abstract Syntax Tree, AST)를 생성Parser의 종류와 기능1. StrOutputParser()입력된 텍스트를 변경 없이 그대로 반환합니다. 이는 가장 기본적인 파싱 작업이며, 주로 기본 클래스나 간단한 테스트 목적으로 사용변환전AIMessage(co..

출처 : 유튜버 테디 노트의 위키를 보고 공부했으며 아래 링크에 훨씬 더 자세한 설명이 있어.저 링크를 보고 공부하기를 권장함. 이 포스트는 목적은 개인 공부라 설명이 부족할 수 있고.붙여넣은 내용이 다수 포함돼, 수익창출 목적이 없음.https://wikidocs.net/233341langchain을 쓰는 주된이유문맥 인식 : 질문할때 문맥도 입력할수 있다. 이 말은 다양한 형태(PDF,링크)의 내용을 근거로 해서 인사이트를 이끌 수 있다는거다.추론 기능 : 단지 존재하는 자료로부터 정보를 이끌어내는것 말고도, 정보가 없더라도 자료로부터 추론해 답을 낼수 있다. 이거는 모델을 만들다 보면 깨닫았는데, 쓰기에 따라 장점이 되기도 하고, 허위 정보를 이끌어내는 단점이 되기도 한다.현재 주로 만들고 있는것 ..

개발 환경과 툴 설명로컬 IDEVS코드 내 LLM 활용코파일럿: GitHub에서 제공하는 AI 기반 코드 작성 도구로, 코드 자동 완성과 코드 제안을 통해 개발 생산성을 높입니다.Cursor: 코드 편집 시 문맥을 이해하여 코드 내비게이션, 참조 검색 등을 쉽게 할 수 있도록 도와주는 도구입니다.VS코드 내 공유 작업공동공유코딩: 실시간으로 여러 명이 동시에 같은 코드베이스에서 작업할 수 있게 하여 협업을 강화합니다.Live Share: 다른 사용자가 원격으로 VS코드 세션에 접속하여 코드를 보고 편집할 수 있게 하여 원격 협업과 코드 리뷰를 가능하게 합니다.사용 모듈의 문법 변경 시Mention: 변경된 문법을 코드 내에서 언급하고 공식 문서에 링크를 연결하여 팀원들이 최신 정보를 쉽게 접근할 수 있게..

배경로컬에서 언어모델 돌리는데,자꾸 실패함.문제는 재부팅하고 초기에는 돌아갈때도 있음.오류 내용ValueError: Ollama call failed with status code 500. Details: {"error":"llama runner process has terminated: CUDA error""}과정구글에는 자료가 정말 거의 없었다.GPT에서는 메모리 문제 라고 나와, 처음에는 RAM 을 조절. llm이 동작하는 운영체제의 RAM을 더 할당함똑같은 방식으로 실패함.현재 언어모델 EEVE-Korean-10.8B로 7.7기가 (용량이 더 작은 언어모델 llama3 다운받아 테스트 해봄)결과 llama3만 동작, 재부팅하고 초반에는 EEVE-Korean-10.8B도 동작하나, 다른 프로세스 동..

PsExec 개념PsExec는 원격 시스템에서 명령을 실행하기 위한 유틸리티로, 다양한 시스템 관리 작업을 자동화하고 원격에서 수행할 수 있도록 도와줍니다. PsExec의 작동 원리초기 연결 설정:사용자가 PsExec 명령을 실행하면, PsExec는 먼저 네트워크를 통해 원격 시스템에 연결을 시도합니다.이 과정에서 사용자 인증을 수행하여 원격 시스템에 접속할 수 있는 권한을 확인합니다.PsExec 서비스 설치:PsExec는 원격 시스템에 접속한 후, 임시로 PsExec 서비스를 설치합니다.이 서비스는 PSEXESVC.exe라는 이름으로 원격 시스템의 C:\Windows 디렉토리에 복사됩니다.PsExec 서비스는 PsExec 명령이 실행되는 동안에만 존재하며, 작업이 완료되면 자동으로 제거됩니다.명령 실행..