전체 글 99

CPU와 GPU의 차이점

CPUCPU의 구성연산 논리 장치 (ALU, Arithmetic Logic Unit):ALU는 CPU에서 기본적인 산술 및 논리 연산을 수행하는 핵심 구성 요소입니다. 이 장치는 덧셈, 뺄셈, 곱셈 등의 사칙연산 뿐만 아니라, AND, OR, NOT 등의 논리 연산도 처리합니다. ALU는 컴퓨터가 명령을 실행할 때 필요한 계산을 담당하며, 모든 연산 작업의 중심에 위치합니다.제어 장치 (CU, Control Unit):제어 장치는 CPU의 "뇌" 역할을 하며, 프로그램 명령어를 해석하고 실행을 지시하는 역할을 합니다. CU는 CPU의 다른 구성 요소와 시스템 메모리 간의 데이터 흐름을 관리하며, 특정 작업을 수행하기 위해 필요한 데이터와 명령어를 올바르게 조정하고 전달합니다. 이는 CPU가 명령어를 순차..

GPU 는 뭘까?

GPU 는 뭘까?개념 : 인공지능, 머신러닝, 데이터분석, 과학적 계산에 사용된다. 원래는 게임 그래픽을 빠르게 렌더링 하기 위해 개발됐고, 성능의 향상으로 GPU 성능이 7000배 상승, CPU 압살하게됨활용분야게임 및 엔터테인먼트: 실시간으로 복잡한 3D 그래픽을 렌더링하는 데 사용, VR 및 AR 애플리케이션의 고해상도 그래픽과 빠른 반응을 위해 활용인공지능 및 머신 러닝: 딥러닝 모델은 대규모 데이터셋을 사용하여 학습, GPU의 병렬 처리가 큰 역할, 수천 개의 코어를 활용하여 대량의 수학적 연산을 빠르게 처리데이터 분석 및 과학: 방대한 양의 데이터를 처리하고 분석하는 데 GPU의 병렬 처리 능력이 활용, 과학 연구에서 복잡한 시뮬레이션과 모델링 작업을 수행미디어 및 콘텐츠 생성: 비디오 파일의..

llm 디코딩 방식 모음

Greedy SearchGreedy Search는 텍스트 생성 과정에서 가장 높은 확률을 가진 토큰을 선택하는 간단하고 직관적인 방법입니다. 이 방식은 매우 빠르고 계산이 효율적이지만, 몇 가지 한계도 가지고 있습니다.주요 특징:높은 확률 토큰 선택: 각 단계에서 가장 높은 확률을 가진 토큰을 선택합니다. 이 방법은 직관적으로 최선의 선택처럼 보이지만, 전체 문장을 고려했을 때 최적의 결과를 보장하지 못할 수 있습니다.동어 반복 문제: Greedy Search는 종종 동일한 단어 또는 구문이 반복되는 동어 반복 문제를 일으킬 수 있습니다. 이는 모델이 높은 확률의 단어를 반복적으로 선택하기 때문입니다.한계:전략적 한계: Greedy Search는 매 단계마다 최적의 선택을 한다고 가정하지만, 이는 전체 ..

langchain 공부 2024.09.02