PE Notes · CA/OS
GPU vs TPU (GPGPU/매니코어/뉴로모픽칩/멀티GPU 포함)
GPU(Graphics Processing Unit): 수천 개의 단순 코어로 대량 병렬 연산(SIMT)을 수행하는 프로세서 — 그래픽 렌더링에서 출발해 GPGPU로 AI·과학 계산에 범용 활용
GPU(Graphics Processing Unit): 수천 개의 단순 코어로 대량 병렬 연산()을 수행하는 프로세서 — 그래픽 렌더링에서 출발해 GPGPU로 AI·과학 계산에 범용 활용. GPGPU(General-Purpose computing on GPU): GPU를 그래픽 외 범용 병렬 계산에 사용 — ·OpenCL·ROCm(HIP)·SYCL 프로그래밍 모델.
구조와 칸
| 방식 | 내용 |
|---|---|
| 데이터 병렬(DP) | 같은 모델을 복제, 데이터 분할 → 기울기 All-Reduce(ZeRO·FSDP로 메모리 분할) |
| 텐서 병렬(TP) | 한 층의 행렬을 여러 GPU로 분할 — 고대역 필요 |
| 파이프라인 병렬(PP) | 층 묶음을 GPU별로 배치, 마이크로배치로 파이프라인 |
| 전문가 병렬(EP) | MoE 전문가를 GPU별로 분산 |
| 인터커넥트 | 노드 내 NVLink·NVSwitch, 노드 간 InfiniBand·RoCE(RDMA) , 집합 통신 라이브러리(NCCL) |
SM 여러 개 → 각 SM에 CUDA 코어(FP32·INT32), (행렬 곱셈 누적 전용, FP16·BF16·FP8·INT8 등), 레지스터 파일, 공유 메모리·L1, 워프 스케줄러. 워프(32스레드)가 같은 명령을 다른 데이터에 실행 — 분기 발산(Divergence) 시 성능 저하. 지연 은닉: 메모리 대기 중 다른 워프로 즉시 전환(대량 스레드로 지연 숨김). 메모리 계층: 레지스터 → 공유 메모리/L1 → L2 → .
CPU vs GPU vs TPU vs NPU vs 뉴로모픽
| 기준 | CPU | GPU | TPU | NPU(모바일·엣지) | 뉴로모픽 |
|---|---|---|---|---|---|
| 코어 | 소수 고성능 | 수천 개 단순 코어 + 텐서 코어 | 시스톨릭 MXU | 행렬·합성곱 가속기 | 뉴런·시냅스 회로 |
| 강점 | 복잡한 제어·직렬 처리 | 범용 병렬·생태계 | 대규모 행렬 연산 효율 | 저전력 추론 | 초저전력·이벤트 처리 |
| 유연성 | 매우 높음 | 높음 | 중간 | 낮음~중간 | 낮음 |
| 전력 효율(AI) | 낮음 | 중간~높음 | 높음 | 높음 | 매우 높음(특정 작업) |
| 프로그래밍 | 범용 언어 | CUDA·ROCm | (JAX 등) | 벤더 SDK | 전용 프레임워크 |
| 주 용도 | 범용 | 학습·추론·HPC | 클라우드 학습·추론 | 온디바이스 추론 | 연구·센서 |
| 기준 | 멀티코어 | 매니코어 |
|---|---|---|
| 코어 수 | 수 개~수십 개 | 수십~수천 개 |
| 코어 성능 | 높음(비순차·대형 캐시) | 낮음(단순 코어) |
| 목표 | 지연 시간·단일 스레드 성능 | 처리량 |
| 예 | 데스크톱·서버 CPU | GPU·매니코어 가속기 |
LLM 학습: 수천~수만 개 GPU 클러스터(데이터·텐서·파이프라인 병렬 결합), TPU 파드. 추론 서비스: GPU(범용성), TPU·자체 추론 ASIC(비용 효율), NPU 온디바이스 추론. 과학 계산·HPC: GPGPU로 기상·분자 동역학·유체 해석.
답안은 GPU vs TPU (GPGPU/매니코어/뉴로모픽칩/멀티GPU 포함)의 정의, 칸, 비교 축을 한 장에 닫습니다.
기술사 답안 포인트
관련 용어
관련 토픽
CA/OS
HBM(High Bandwidth Memory)
HBM(High Bandwidth Memory): 여러 개의 DRAM 다이를 수직으로 적층하고 TSV(Through-Silicon Via, 실리콘 관통 전극)로 연결해, 매우 넓은 입출력 폭(1,024~2,048비트)으로 높은 대역폭을 제공하는 메모리
CA/OS
PNM(Processing Near Memory)와 칩렛(Chiplet)
PNM(Processing Near Memory, 근접 메모리 처리): 연산 로직을 메모리 칩 바깥이지만 메모리와 가까운 위치(메모리 모듈·버퍼 칩·CXL 장치·HBM 베이스 다이)에 두어, 데이터 이동을 줄이고 메모리 대역폭을 연산에 직접 활용하는
AI
SNN, 메타휴리스틱스, 튜링 테스트, 라벨링
스파이크로 시간을 인코딩하는 SNN, 근사 탐색인 메타휴리스틱스, 행동으로 지능을 묻는 튜링 테스트, 정답을 붙이는 라벨링·어노테이션을 구분합니다.