PE Notes · CA/OS
AI 데이터센터(Data Center)
AI 데이터센터(AI 특화 데이터센터, AIDC): 대규모 AI 모델의 학습·추론을 위해 AI 가속기(GPU·TPU·NPU), 초고속 인터커넥트, 고밀도 전력·액체 냉각 설비를 중심으로 설계·운영하는 데이터센터
AI 데이터센터(AI 특화 데이터센터, ): 대규모 AI 모델의 학습·추론을 위해 AI 가속기(GPU·TPU·NPU), 초고속 인터커넥트, 고밀도 전력·액체 냉각 설비를 중심으로 설계·운영하는 데이터센터. 운영 목표: 일반 데이터센터의 안정성·비용 효율에 더해 가속기 활용률, 학습 처리량, 추론 지연, 전력 대비 성능.
구조와 칸
| 계층 | 구성 | 내용 |
|---|---|---|
| 컴퓨팅 | GPU 서버(8 GPU 노드 등)·랙 스케일 시스템, NPU·ASIC | 학습·추론 연산, 메모리 |
| 네트워크 | 스케일업(랙 내 NVLink·NVSwitch) / 스케일아웃(랙 간 ·RoCE, 레일 최적화 패브릭) / 스토리지·프런트엔드망 | 집합 통신(All-Reduce) 성능이 학습 속도 좌우 |
| 스토리지 | 병렬 파일 시스템, 오브젝트 스토리지, NVMe 캐시 | 데이터 공급 병목 시 GPU 유휴 |
| 전력 | 수전·변전, UPS·배터리(ESS), 랙 PDU·버스웨이, 계측, 고전압 직류(HVDC) 논의 | 대용량·고밀도 전력 공급 |
| 냉각 | 판 + (냉각수 분배 장치), 후면 열교환기(RDHx), 액침 냉각, 외기 냉각 | 고발열 대응, 누수·수질 관리 |
| 운영·소프트웨어 | 클러스터 스케줄러(Slurm·쿠버네티스), ·자동 복구, 모니터링(DCIM), MLOps | 노드 장애 대비, 활용률 극대화 |
| 보안 | 물리 보안, 모델·데이터 보호, 멀티테넌시 격리, 기밀 컴퓨팅 | 학습 데이터·가중치 유출 방지 |
IT 전력: GPU 10,000개 × GPU당 서버 전력 약 1.2kW(GPU + CPU·메모리·네트워크 분담) = 12MW. 시설 전력: PUE 1.3 × 1.3 = 15.6MW (PUE 1.6 공랭이었다면 19.2MW → 액체 냉각으로 약 3.6MW 절감). 연간 전력량: 15.6MW × 8,760시간 = 136,656MWh ≈ 137GWh. 랙 밀도: 8-GPU 서버 1대 약 10kW, 랙당 4대 kW/랙(공랭 한계 수준) / 랙 스케일 시스템은 100kW 이상 → 액체 냉각 필수.
학습용 vs 추론용 AI 데이터센터
| 항목 | 내용 |
|---|---|
| 통과·시행 | 2026.5.7 국회 본회의 통과(6개 법안 병합), 공포 후 9개월 유예 .2경 시행 |
| 인허가 | 과학기술정보통신부 중심 통합 인허가, 정해진 기간 내 처리 안 되면 승인 간주 |
| 전력 | 비수도권 일정 규모 이하 AI 데이터센터(기존 시설 전환 포함)는 전력계통영향평가 면제 |
| 시설 기준 | GPU 서버 시설에 일반 건축물 기준(주차·승강기·미술 작품 등) 완화 |
| 전력 구매 | 직접 전력 거래 원안은 축소, 일부 재생에너지 PPA 허용 |
| 세제 | 별도로 국가전략기술 사업화 시설 지정 — 대기업 최대 15%, 중소기업 최대 25% 세액 공제 |
| 입지 | 송전망 투자·세제·특화 클러스터로 비수도권 이전 유도 |
| 기준 | 학습(Training) | 추론(Inference) |
|---|---|---|
| 규모 | 대규모 클러스터(수천~수만 GPU) | 분산 배치, 수요 따라 확장 |
| 네트워크 | 초고속 스케일아웃 필수 | 상대적으로 낮음, 사용자 근접성 중요 |
| 부하 패턴 | 장시간 고부하 | 변동(트래픽 따라) |
| 핵심 지표 | 학습 처리량··장애 복구 | 지연·처리량·토큰당 비용 |
| 입지 | 전력 저렴·확보 용이 지역 | 사용자 근처(지연) |
하이퍼스케일 AI 클러스터: 수만 GPU 규모 학습 클러스터, 액체 냉각·전용 변전소. 국가 AI 컴퓨팅센터: 정부 주도 공공·연구용 AI 컴퓨팅 인프라 추진. 기업 추론 센터: 추론 전용 가속기·지연 최소화 구성.
답안은 AI 데이터센터(Data Center)의 정의, 칸, 비교 축을 한 장에 닫습니다.
기출 이력
- 제140회 4교시
기술사 답안 포인트
관련 용어
관련 토픽
CA/OS
GPU vs TPU (GPGPU/매니코어/뉴로모픽칩/멀티GPU 포함)
GPU(Graphics Processing Unit): 수천 개의 단순 코어로 대량 병렬 연산(SIMT)을 수행하는 프로세서 — 그래픽 렌더링에서 출발해 GPGPU로 AI·과학 계산에 범용 활용
서비스
에너지 효율적 컴퓨팅 기술
에너지 효율적 컴퓨팅(Energy-Efficient Computing): 같은 연산 성능을 더 적은 전력으로 제공하도록 반도체·서버·소프트웨어·데이터센터 설비·운영 전 계층에서 전력 소비를 줄이는 기술
CA/OS
HBM(High Bandwidth Memory)
HBM(High Bandwidth Memory): 여러 개의 DRAM 다이를 수직으로 적층하고 TSV(Through-Silicon Via, 실리콘 관통 전극)로 연결해, 매우 넓은 입출력 폭(1,024~2,048비트)으로 높은 대역폭을 제공하는 메모리