GPU 4

CPU와 GPU의 차이점

CPUCPU의 구성연산 논리 장치 (ALU, Arithmetic Logic Unit):ALU는 CPU에서 기본적인 산술 및 논리 연산을 수행하는 핵심 구성 요소입니다. 이 장치는 덧셈, 뺄셈, 곱셈 등의 사칙연산 뿐만 아니라, AND, OR, NOT 등의 논리 연산도 처리합니다. ALU는 컴퓨터가 명령을 실행할 때 필요한 계산을 담당하며, 모든 연산 작업의 중심에 위치합니다.제어 장치 (CU, Control Unit):제어 장치는 CPU의 "뇌" 역할을 하며, 프로그램 명령어를 해석하고 실행을 지시하는 역할을 합니다. CU는 CPU의 다른 구성 요소와 시스템 메모리 간의 데이터 흐름을 관리하며, 특정 작업을 수행하기 위해 필요한 데이터와 명령어를 올바르게 조정하고 전달합니다. 이는 CPU가 명령어를 순차..

GPU 는 뭘까?

GPU 는 뭘까?개념 : 인공지능, 머신러닝, 데이터분석, 과학적 계산에 사용된다. 원래는 게임 그래픽을 빠르게 렌더링 하기 위해 개발됐고, 성능의 향상으로 GPU 성능이 7000배 상승, CPU 압살하게됨활용분야게임 및 엔터테인먼트: 실시간으로 복잡한 3D 그래픽을 렌더링하는 데 사용, VR 및 AR 애플리케이션의 고해상도 그래픽과 빠른 반응을 위해 활용인공지능 및 머신 러닝: 딥러닝 모델은 대규모 데이터셋을 사용하여 학습, GPU의 병렬 처리가 큰 역할, 수천 개의 코어를 활용하여 대량의 수학적 연산을 빠르게 처리데이터 분석 및 과학: 방대한 양의 데이터를 처리하고 분석하는 데 GPU의 병렬 처리 능력이 활용, 과학 연구에서 복잡한 시뮬레이션과 모델링 작업을 수행미디어 및 콘텐츠 생성: 비디오 파일의..

딥러닝 모델의 변화와 Transformer의 탄생(LLM 역사와 발전1)

발전과정시퀀스 데이터개념시퀀스 모델(Sequence Model)은 순차적으로 연속된 데이터(시퀀스 데이터)를 처리하고 분석하기 위해 설계된 모델입니다. 시퀀스 데이터는 시간이 흐르거나 특정 순서에 따라 나열된 데이터로, 예를 들어 텍스트, 음성, 동영상, 주식 가격 데이터 등이 이에 해당.시퀀스 데이터 특징순서가 중요한 데이터 처리: 시퀀스 모델은 입력 데이터의 순서를 고려합니다. 예를 들어, 문장의 단어 순서, 주식 가격의 시간순서, 음성 데이터의 샘플 순서 등에서 데이터가 주어지면, 이 순서를 유지하면서 정보를 처리하고 예측하는 역할을 합니다.이전 정보의 활용: 시퀀스 모델은 현재의 데이터뿐만 아니라, 이전의 데이터(이전 시간 단계나 이전 위치의 정보)를 이용하여 다음에 나올 데이터를 예측하거나 현재..

langchain 공부 2024.09.01

poetry 환경에서 GPU(CUDA) 사용 가능하게 하기

배경conda로 cuda를 설치하는건 많았는데, poetry 환경에 CUDA를 설치하기가 생각보다 어려웠다.실습환경파워쉘의 프로젝트 가상환경 활성화(poetry shell) 이후 입력창과정poetry add가 먹히지 않기 때문에, 소스로부터 cuda를 추가해야한다.본인 컴퓨터에 맞는 cuda 버전 확인 (아래 링크 참조)티스토리CUDA 현재 날짜 기준 최신 12.5이지만, 동작하지 않았다. 11.8 추천11.8 버전에 맞는 모듈들 설치poetry 가상환경 활성화CUDA 11.8에 맞는 모듈 모음 링크를 소스로 등록위에 등록한 소스로부터 torch, torchvision, torchaudio 이 세 패키지를 가져와 설치PS C:\Users\project> poetry shell(.venv) PS C:\Us..