PE Notes · DB
데이터늪 (Data Swamp)
거버넌스와 메타데이터 없이 레이크가 쓰이지 못하는 데이터늪의 원인, 증상, 카탈로그·계보·품질 게이트·레이크하우스 탈출을 정리합니다.
원본을 싸게 모아 두자는 레이크는, 설명과 주인이 없으면 찾기만 어려운 더미가 됩니다. 출처를 모르고, 컬럼 뜻을 아는 사람이 없고, 같은 값이 이름만 다르게 여러 곳에 있습니다. 그 상태가 입니다.
레이크와 늪
늪은 거버넌스·메타데이터·품질 통제 없이 쌓인 레이크가 활용 불능이 된 모습입니다.
| 축 | 레이크 | 늪 |
|---|---|---|
| 메타데이터 | 카탈로그가 있음 | 없거나 깨짐 |
| 품질 | 검증·모니터 | 미검증 |
| 접근 | 역할 정책 | 방임 또는 과도 차단 |
| 계보 | 출처·변환 추적 | 불가 |
| 활용 | 셀프서비스 | 전문가도 못 씀 |
원인은 메타 부재, 오너십 없음, 같은 개념의 다른 스키마, 계보 공백, 접근 실패, 낡은 파일 방치, 부서 사일로입니다.
증상
찾기 어려움, 신뢰 불가, 중복, 권한 혼란, 갱신 시점 불명이 한 세트입니다. 분석 시간이 데이터 찾는 시간에 쓰이고, 규제 대응이 수작업이 되며, 모델은 오염된 입력으로 학습합니다.
탈출
- — 이름, 스키마, 오너, 출처, 주기, 품질, 용어 사전.
- 거버넌스 — 오너·스튜어드·소비자, 분류, 접근, 품질 SLA, 보존·삭제.
- — 원천 → ETL → 레이크 → DW → 소비.
- 품질 게이트 — NULL 비율, 스키마, 참조. 실패는 후 알림.
- — 값싼 저장에 ACID와 스키마 강제(Delta, Iceberg, Hudi).
예방이 탈출보다 쌉니다. 메타 없는 데이터는 들이지 않는다는 입구 규칙이 레이크와 같이 가야 합니다. 계약(Data Contract)으로 생산자-소비자 SLA를 코드에 고정하는 쪽이 다음입니다.
