PE Notes · DB
빅데이터 플랫폼 아키텍처
입출력·데이터·인프라 세 계층과 Bronze–Silver–Gold 영역, 레이크·웨어하우스·레이크하우스·메시 선택 기준을 정리합니다.
빅데이터 플랫폼은 쌓아 두는 곳이 아니라 모으고, 나누어 두고, 가공해 내보내는 한 줄입니다. 계층을 섞어 고르면 저장은 싸지만 질의는 느리고, 거버넌스 없이 쌓이면 이 됩니다. 입출력·데이터·인프라를 따로 적은 뒤 맞춥니다.
세 계층
입력은 원천을 주기·분 단위·이벤트로 받습니다. 저장은 원본·분석·저지연 서빙을 나눕니다. 처리는 배치와 스트림을, 출력은 BI·API·모델 서빙을 맡습니다.
| 계층 | 하는 일 | 예 |
|---|---|---|
| 입출력 | 수집과 제공 | 배치 ETL, Kafka, REST, 대시보드 |
| 데이터 | 저장·변환·메타 | 레이크, 웨어하우스, Spark, 카탈로그 |
| 인프라 | 계산·디스크·망·보안 | YARN, Kubernetes, 객체저장, IAM |
는 형식을 열어 원본을 싸게 둡니다. 는 스키마를 고정하고 분석 질의에 맞춥니다. 서빙 층은 Redis, 검색 엔진, 처럼 읽기 지연을 줄입니다.
원천 변경을 이벤트처럼 따라가려면 가 필요합니다. 인프라 계산은 Hadoop 이나 컨테이너 오케스트레이션이 나누고, 디스크는 분산 파일·객체저장이 받습니다.
영역과 오케스트레이션
같은 디스크에 원본과 집계를 섞으면 누가 무엇을 믿어야 하는지 사라집니다. 정제 단계로 영역을 가릅니다.
| 영역 | 별칭 | 내용 |
|---|---|---|
| 원시 | Bronze / Raw | 원본 그대로. 불변 |
| 정제 | Silver | 형식·중복·품질 통과 |
| 서비스 | Gold | 목적별 집계·제공 |
| 실험 | Sandbox | 분석가 격리 공간 |
오케스트레이션은 DAG로 의존을 돌리고, SLA 지연을 알리며, SQL 변환의 테스트·문서를 버전에 묶습니다. 인증(Kerberos), 정책(Ranger), 저장·전송 암호화, 접근 이력이 인프라 보안의 최소 세트입니다.
온프레미스는 주권을 지키기 쉽고 초기 투자가 큽니다. 클라우드는 탄력적이지만 반출·비용 모델을 따로 적어야 합니다. 민감은 안에, 비민감 처리는 밖에 두는 하이브리드가 흔합니다.
선택과 다음 형태
SLA(초·분·시간), 3~5년 용량, TCO, 규제, 팀 역량, 벤더 종속 여섯을 표에 놓고 고릅니다. 실시간만 필요하면 카파 쪽에 가깝고, 배치 리포트가 중심이면 레이크+웨어하우스도 충분합니다.
는 객체저장 위에 테이블 형식(·타임트래블)을 올려 웨어하우스 질의를 같이 받습니다. 는 중앙 플랫폼 대신 도메인이 데이터 제품을 소유합니다. 카탈로그와 가 없으면 분산은 곧 늪입니다.
성숙도는 모으기 → 셀프서비스 분석 → ML이 붙은 데이터 제품 순입니다. 한 번에 메시를 선언하기보다, 영역과 품질 게이트를 먼저 닫습니다.