GPU 작동원리

작업 순서

1. 작업 분할 및 할당
2. 데이터 로드 및 준비
3. 병렬 연산 수행
4. 캐시 시스템 활용
5. 특화 유닛 활용
6. 결과 통합 및 출력
7. 상호작용과 피드백 루프

각 작업 설명

1. 작업 분할 및 할당

1. 명령 디코딩:
   CPU는 복잡한 고수준 명령어를 해석하고, 이를 GPU가 처리할 수 있는 작은 작업 단위로 분할하는 과정을 수행합니다. 이 과정은 CPU가 전체 작업을 여러 개의 간단한 연산으로 나누어, 병렬 처리가 가능한 형태로 만드는 것입니다. 이렇게 분할된 작업 단위는 GPU의 대규모 병렬 처리 능력을 최대한 활용할 수 있도록 설계됩니다.
2. 커널 런칭:
   분할된 작은 작업 단위들은 "커널(Kernel)"이라고 불립니다. 커널은 GPU에서 실행될 수 있는 프로그램의 가장 작은 단위로, 특정 연산을 수행하도록 설계됩니다. CPU는 이러한 커널들을 GPU로 보내 작업을 시작하게 하며, 이 과정이 "커널 런칭"이라고 불립니다. GPU는 CPU로부터 전달받은 커널을 병렬로 실행하여 대량의 데이터를 처리합니다.
3. 스레드 블록 및 그리드:
   GPU는 커널을 실행할 때, 이를 더욱 세분화하여 "스레드 블록(Thread Block)"으로 나눕니다. 각 스레드 블록은 여러 개의 스레드로 구성되며, 이 스레드들은 병렬로 작업을 수행할 수 있습니다. 여러 개의 스레드 블록은 "그리드(Grid)"를 형성하며, 이 그리드는 GPU 내에서 독립적으로 실행될 수 있는 작업 단위를 나타냅니다. 그리드를 구성하는 각 스레드 블록은 독립적으로 실행되기 때문에, GPU는 수많은 스레드를 동시에 처리할 수 있습니다. 이를 통해 GPU는 매우 높은 처리량을 달성할 수 있습니다.

2. 데이터 로드 및 준비

1. 메모리 할당:
   GPU에서 연산을 수행하기 위해서는 먼저 연산에 필요한 데이터를 GPU 메모리에 할당해야 합니다. 이 과정에서는 입력 데이터뿐만 아니라 연산 중 생성되는 중간 결과와 최종 출력 데이터도 포함됩니다. GPU 메모리에 데이터를 올려놓음으로써, 연산이 신속하게 이루어질 수 있도록 준비하는 것이 이 단계의 핵심입니다.
2. 메모리 계층:
   GPU는 다양한 계층의 메모리 구조를 가지고 있으며, 각 계층은 특정 용도와 성능 특성을 가지고 있습니다. 주요 메모리 계층은 다음과 같습니다:

• 글로벌 메모리(Global Memory): GPU에서 접근할 수 있는 가장 큰 메모리 공간으로, 모든 스레드가 접근할 수 있지만, 접근 속도는 상대적으로 느립니다. 글로벌 메모리는 HBM으로 만들어지며, GDDR 메모리보다 훨씬 높은 대역폭 ( 데이터가 이동할 수 있는 최대 속도 : 최대 TB/s)을 제공하여, 대규모 병렬 연산에서 데이터 병목을 줄임
  
  
• 공유 메모리(Shared Memory): 같은 스레드 블록 내의 스레드들이 공유할 수 있는 고속 메모리입니다. 접근 속도가 빠르며, 공동 작업을 수행하는 스레드 간의 데이터 교환에 유용합니다. SM (Streaming Multiprocessor)에 내장된 고속 메모리를 활용함
• 레지스터(Register): 각 스레드에 할당된 매우 빠른 속도의 메모리입니다. 연산에 필요한 데이터를 저장하고, 연산을 수행하는 동안 빠르게 접근할 수 있습니다.

3. 메모리 최적화:
   GPU의 성능을 극대화하기 위해서는 메모리 접근 패턴을 최적화하는 것이 중요합니다. 메모리 최적화는 데이터 접근 시간을 줄이고, 병목 현상을 최소화하는 데 중점을 둡니다. 예를 들어, 공유 메모리를 사용하여 동일한 데이터를 여러 스레드가 효율적으로 공유할 수 있도록 설계하면, 각 스레드가 개별적으로 글로벌 메모리에 접근하는 대신, 공유 메모리를 통해 빠르게 데이터를 이용할 수 있습니다. 이로 인해 메모리 대역폭 사용을 줄이고, 전체 연산 성능을 높일 수 있습니다.

3. 병렬 연산 수행

1. SM 내부 구조:
   각 Streaming Multiprocessor(SM)는 수십 개에서 수백 개의 CUDA 코어로 구성되어 있습니다. 이러한 CUDA 코어들은 독립적으로 작동하며, 병렬 연산을 동시에 수행할 수 있습니다. SM은 GPU의 기본 연산 단위로, 여러 CUDA 코어를 통해 대규모 병렬 처리 능력을 발휘합니다. 이 구조 덕분에 GPU는 복잡한 연산을 빠르게 처리할 수 있으며, 특히 대규모 데이터 처리 작업에서 강력한 성능을 보여줍니다.
2. 와프 스케줄링:
   SM 내에서 CUDA 코어는 와프(warp) 단위로 스케줄링됩니다. 하나의 와프는 32개의 스레드로 구성되며, 이 스레드들은 동일한 명령어를 동시에 실행합니다. 와프 단위로 스케줄링됨으로써, GPU는 명령어 처리의 효율성을 극대화하고, 병렬 처리의 이점을 극대화할 수 있습니다. 이 스케줄링 방식은 GPU가 수천 개의 스레드를 효율적으로 관리하고, 병렬 작업을 최적화하는 데 중요한 역할을 합니다.
3. SIMT 아키텍처:
   GPU는 Single Instruction Multiple Threads (SIMT) 아키텍처를 채택하고 있습니다. SIMT는 하나의 명령어를 여러 스레드가 동시에 실행할 수 있도록 설계된 아키텍처입니다. 이를 통해 동일한 작업을 병렬로 수행하는 데 최적화된 환경을 제공합니다. SIMT 아키텍처는 GPU가 대규모 데이터에 대해 동일한 연산을 병렬로 처리할 수 있도록 하여, 높은 연산 성능을 발휘할 수 있게 합니다.

4. 캐시 시스템 활용

1. L1 캐시:
   각 Streaming Multiprocessor(SM)에는 L1 캐시가 존재하며, 이 캐시는 자주 사용되는 데이터를 저장하는 역할을 합니다. L1 캐시는 GPU의 코어가 데이터를 더 빠르게 접근할 수 있도록 도와주며, 연산 속도를 크게 향상시킵니다. L1 캐시는 접근 속도가 매우 빠르기 때문에, 반복적으로 사용되는 데이터나 연산 결과를 저장하는 데 적합합니다. 이를 통해 GPU는 자주 필요한 데이터를 메모리에서 다시 가져오는 대신, L1 캐시에 저장된 데이터를 신속하게 접근하여 효율성을 높입니다.
2. L2 캐시:
   L2 캐시는 GPU 전체에 걸쳐 중앙에 위치한 캐시로, 여러 SM 간에 데이터를 공유하는 역할을 합니다. L2 캐시는 L1 캐시에서 찾지 못한 데이터를 제공하며, L1 캐시 미스가 발생했을 때 그 데이터를 빠르게 제공하여 성능 저하를 최소화합니다. L2 캐시는 L1 캐시보다 용량이 크지만, 접근 속도는 상대적으로 느립니다. 그러나, L2 캐시는 다양한 SM이 동일한 데이터를 사용할 때 중요한 역할을 하며, 전체 GPU의 성능을 균형 있게 유지하는 데 기여합니다.
3. 동적 캐시 관리:
   GPU는 실행 중에 데이터 접근 패턴을 분석하여 캐시를 동적으로 관리하고 최적화합니다. 동적 캐시 관리는 GPU가 다양한 워크로드에 적응하여 성능을 극대화할 수 있도록 합니다. 예를 들어, 특정 데이터가 자주 사용되거나 특정 패턴으로 접근될 때, GPU는 이러한 패턴을 인식하고 해당 데이터를 효율적으로 캐시하는 방법을 조정합니다. 이를 통해 캐시의 효율성을 높이고, 데이터 접근 시간을 줄여 전체 시스템의 성능을 최적화합니다.

5. 특화 유닛 활용

1. 텍스처 유닛:
   텍스처 유닛은 주로 그래픽 처리와 텍스처 매핑(Texture Mapping)에 사용되는 GPU의 특화된 유닛입니다. 텍스처 매핑은 3D 모델의 표면에 텍스처를 입히는 과정으로, 이를 통해 3D 객체의 표면을 더욱 현실감 있게 표현할 수 있습니다. 텍스처 유닛은 이러한 텍스처 데이터를 효율적으로 처리하여, 고품질의 그래픽을 빠르게 렌더링할 수 있도록 돕습니다. 특히, 게임이나 3D 시뮬레이션과 같은 그래픽 집약적인 작업에서 텍스처 유닛은 필수적인 역할을 하며, 그래픽의 세밀함과 현실감을 크게 향상시킵니다.
2. 텐서 코어:
   텐서 코어는 딥러닝 연산을 가속화하기 위해 설계된 GPU의 특화된 연산 유닛입니다. 텐서 코어는 특히 행렬 곱셈과 같은 복잡한 수학적 연산을 병렬로 처리하는 데 최적화되어 있습니다. 이러한 연산은 딥러닝 모델의 학습과 추론 과정에서 핵심적인 부분을 차지하며, 텐서 코어는 이 과정을 대규모 병렬 처리로 신속하게 수행합니다. 이를 통해 딥러닝 모델의 학습 속도와 추론 속도가 크게 향상되며, 고성능 AI 모델을 실시간으로 실행하거나 대량의 데이터를 처리하는 데 중요한 역할을 합니다.

6. 결과 통합 및 출력

1. 스레드 간 동기화:
   GPU에서 병렬로 작업을 수행한 후, 각 스레드가 생성한 부분적인 결과들을 통합하여 최종 결과를 만들어내는 과정이 필요합니다. 이 과정에서 중요한 요소는 스레드 간 동기화입니다. 수천 개의 스레드가 동시에 작업을 수행할 때, 모든 스레드가 작업을 완료할 때까지 기다리고, 이후 결과를 통합하는 동기화 과정이 필요합니다. 동기화 없이 결과를 통합하려 하면, 일부 스레드의 작업이 완료되지 않은 상태에서 통합이 진행되어 잘못된 결과를 초래할 수 있습니다. 따라서, GPU는 스레드 간 동기화를 통해 안정적이고 정확한 최종 결과를 생성합니다.
2. 결과 저장 및 전송:
   동기화된 결과가 통합되면, 이 최종 결과는 GPU 메모리에 저장됩니다. 이후, 이 결과는 필요에 따라 CPU로 전송되거나, 그래픽 작업의 경우 디스플레이로 직접 출력될 수 있습니다. 이 과정에서 고속의 내부 버스와 메모리 인터페이스가 사용되어, 데이터를 빠르게 전송하고 처리할 수 있게 합니다. GPU와 CPU 간의 데이터 전송은 PCIe(Peripheral Component Interconnect Express)와 같은 고속 인터페이스를 통해 이루어지며, 디스플레이로의 출력은 HDMI, DisplayPort 등과 같은 그래픽 출력 인터페이스를 통해 이루어집니다. 이 과정에서 데이터 전송의 병목을 줄이고, 결과를 신속하게 전달하여 전체 시스템의 효율성을 높이는 것이 중요합니다.

7. 상호작용과 피드백 루프

1. CPU와의 협력:
   GPU와 CPU는 서로 협력하여 효율적으로 작업을 처리합니다. CPU는 전체 시스템의 제어와 관리 역할을 담당하며, GPU에게 특정 작업을 할당합니다. 예를 들어, CPU는 복잡한 명령어를 디코딩하고, 이를 GPU가 처리할 수 있는 작은 작업 단위(커널)로 나누어 GPU에 전달합니다. 이후, GPU는 병렬 연산을 통해 이 작업을 처리하고, 결과를 다시 CPU에 전달합니다. 이와 같은 과정에서 GPU는 주로 연산 집약적인 작업을 수행하며, CPU는 작업의 흐름을 관리하고, GPU가 효율적으로 동작하도록 돕습니다. 이러한 협력은 CPU와 GPU가 각각의 강점을 활용하여 전체 시스템 성능을 극대화하는 데 중요한 역할을 합니다.
2. 피드백 루프:
   CPU와 GPU 간의 피드백 루프는 시스템의 작업 효율성을 높이는 중요한 메커니즘입니다. 작업이 수행되는 동안, CPU는 GPU로부터 처리된 결과를 수신하고, 이를 분석하여 필요한 경우 작업 스케줄링을 조정합니다. 예를 들어, 특정 작업이 예상보다 오래 걸리거나 병목 현상이 발생하면, CPU는 이를 감지하고 새로운 작업 분할이나 스케줄링 전략을 적용할 수 있습니다. 또한, GPU에서 처리된 결과를 기반으로 추가 작업을 GPU에 할당하거나, 작업 우선순위를 조정하는 등의 조치를 취할 수 있습니다. 이러한 피드백 루프는 시스템의 동적인 조정을 가능하게 하여, 전체 시스템 성능을 최적화하고, 작업 처리의 효율성을 지속적으로 향상시킵니다.

CUDA

CUDA(Compute Unified Device Architecture)는 GPU에서 병렬 처리 알고리즘을 효율적으로 수행할 수 있도록 설계된 프로그래밍 모델 및 소프트웨어 플랫폼입니다. CUDA를 사용하면 개발자들은 GPU의 병렬 연산 능력을 활용하여 복잡한 계산 작업을 수행할 수 있으며, 이를 통해 CPU보다 훨씬 높은 성능을 얻을 수 있습니다.

• 기술 요구 사항: CUDA를 사용하기 위해서는 NVIDIA GPU와 전용 스트림 처리 드라이버가 필요합니다. 이 아키텍처는 NVIDIA의 GeForce 8 시리즈급 이상의 GPU에서 동작하며, CUDA를 통해 개발자들은 GPU의 병렬 계산 요소에 접근하고, 고유한 명령어 집합을 사용할 수 있습니다.
• 딥러닝에서의 역할: CUDA는 특히 최신 딥러닝 프레임워크에서 핵심적인 역할을 합니다. PyTorch, TensorFlow와 같은 딥러닝 프레임워크는 GPU를 활용한 모델 훈련에서 CUDA를 필수적으로 사용하여, 높은 성능의 병렬 처리를 가능하게 합니다.

CUDA의 장점

• 병렬 처리 능력: CUDA는 수천 개의 스레드를 동시에 실행할 수 있는 능력을 제공하여, 대규모 병렬 처리를 통해 매우 높은 성능을 발휘합니다. 이를 통해 복잡한 계산 작업을 신속하게 처리할 수 있습니다.
• 고속 공유 메모리: CUDA는 스레드 간에 데이터를 빠르게 공유할 수 있는 고속 메모리 지역을 제공합니다. 이 메모리는 사용자 관리 캐시로 활용될 수 있어, 메모리 접근 속도를 최적화하고 성능을 극대화할 수 있습니다.
• 다양한 프로그래밍 언어 지원: CUDA는 C 언어뿐만 아니라 Python, Fortran, Java 등의 언어를 지원하는 래퍼를 제공하여, 개발자들이 다양한 언어 환경에서 CUDA를 사용할 수 있게 합니다. 이는 접근성을 높이고, 더 많은 개발자들이 CUDA를 활용할 수 있도록 합니다.
• 높은 연산 성능: CUDA는 정수 및 비트 단위 연산을 지원하여 매우 높은 연산 성능을 제공합니다. 이러한 성능은 특히 과학 계산, 암호화, 딥러닝 등에서 중요한 역할을 합니다.
• 광범위한 GPU 지원: CUDA는 NVIDIA의 다양한 GPU 제품군(GeForce, Quadro, Tesla 등)을 지원하므로, 다양한 하드웨어 환경에서 활용될 수 있습니다.

CUDA의 단점

• 디바이스 제한: CUDA는 NVIDIA GPU에서만 동작하며, AMD나 Intel과 같은 타사의 GPU에서는 사용할 수 없습니다. 이로 인해 특정 하드웨어에 종속적이라는 제한이 있습니다.
• 제한된 기능: CUDA는 일부 기능에서 제한을 가지며, 예를 들어 텍스처 렌더링을 지원하지 않습니다. 또한, 일부 연산에서는 IEEE 754 표준을 완벽하게 따르지 않아, 특정 계산에서 오차가 발생할 수 있습니다.
• 버스 대역폭 문제: CPU와 GPU 간의 데이터 전송 시, 버스 대역폭과 지연 시간이 성능의 병목으로 작용할 수 있습니다. 이는 특히 대규모 데이터 전송이 필요한 작업에서 문제가 될 수 있습니다.
• 효율적인 스레드 관리 필요: CUDA의 최적 성능을 위해서는 스레드를 최소 32개씩 그룹으로 관리해야 하며, 이를 효율적으로 관리하지 못하면 성능이 저하될 수 있습니다. 이로 인해 개발 복잡성이 증가할 수 있습니다.

엔비디아 이외 GPU의 문제점

• 개발자 커뮤니티 및 도구 부족:
  타사 GPU는 CUDA에 비해 상대적으로 작은 개발자 커뮤니티를 보유하고 있으며, 최적화된 라이브러리 및 도구의 양도 제한적입니다. 이는 개발자들이 타사 GPU를 활용해 고성능 애플리케이션을 개발하는 데 어려움을 겪게 만들 수 있습니다. 특히 GPU 가속화 작업에 필요한 리소스와 지원이 부족한 경우가 많아, 개발 생태계가 NVIDIA에 비해 덜 활성화되어 있습니다.
• 딥러닝 프레임워크와의 호환성 문제:
  타사 GPU는 딥러닝 모델 개발을 위한 주요 프레임워크인 PyTorch와 TensorFlow와의 호환성이 매우 떨어집니다. 이러한 프레임워크들은 주로 CUDA를 기반으로 최적화되어 있어, 타사 GPU에서 동일한 성능을 구현하기 어렵습니다. 결과적으로, 딥러닝 프로젝트에서 타사 GPU를 사용하는 것은 개발과 성능 면에서 상당한 제약을 받을 수 있습니다.
• 전용 하드웨어 가속 기능 부족:
  타사 GPU는 특정 연산에서 NVIDIA GPU의 전용 하드웨어 가속 기능에 비해 성능이 부족할 수 있습니다. 예를 들어, NVIDIA GPU는 텐서 코어와 같은 딥러닝에 특화된 하드웨어를 탑재하여 연산 속도를 크게 향상시키지만, 타사 GPU는 이러한 전용 가속 기능을 갖추고 있지 않거나, 성능이 낮을 수 있습니다. 이로 인해 복잡한 연산 작업에서 타사 GPU는 상대적으로 낮은 성능을 보일 수 있습니다.