PE Notes · SW
데이터 메시
중앙 데이터 팀 병목에서 도메인 소유·데이터 제품·셀프서비스·연합 거버넌스 네 원칙을 잡고, 패브릭·레이크하우스와 가른 뒤 현대 스택과 데이터 계약을 정리합니다.
한 데이터 팀이 모든 파이프를 받으면 현업은 대기하고 레이크는 늪이 됩니다. 는 도메인이 자기 데이터를 제품처럼 소유하는 분산 원칙입니다. 저장 엔진 이름이 아니라 조직과 거버넌스의 재배치입니다.
등장 배경과 네 원칙
중앙 호수는 수집은 잘해도 제공이 병목입니다. 메시는 도메인 자율과 데이터 민주화로 그 줄을 끊습니다. 네 원칙은 도메인 소유, 데이터를 제품으로 보기, 셀프서비스 플랫폼, 연합 거버넌스입니다.
은 발견 가능하고, 주소가 있으며, 품질과 설명이 있는 산출물입니다. 셀프서비스는 플랫폼 팀이 공통 인프라를 주고 도메인이 파이프라인을 직접 올립니다. 는 스키마·보안·분류의 전사 표준과 도메인 자율을 같이 둡니다. 조직은 도메인(업무+데이터), 플랫폼, 거버넌스 셋입니다. 는 접근을 열어 주되 표준이 없으면 혼선입니다.
패브릭과 레이크하우스
은 흩어진 저장을 지식 그래프·활성 메타데이터·AI로 잇는 기술 층입니다. 메시가 누가 소유하는가라면, 패브릭은 어떻게 자동으로 찾고 연결하는가입니다. 둘은 대체가 아니라 축이 다릅니다.
는 값싼 저장에 웨어하우스식 ·스키마를 얹습니다. Delta Lake·Iceberg·Hudi가 테이블 포맷입니다. BI·ML·스트림을 한 저장에서 노립니다. 웨어하우스만 쓰면 비용과 락인이, 레이크만 쓰면 품질과 트랜잭션이 빠집니다.
| 비교축 | 데이터 메시 | 데이터 패브릭 | 레이크하우스 |
|---|---|---|---|
| 초점 | 조직·소유 | 연결·자동화 | 저장·트랜잭션 |
| 거버넌스 | 연합 | 메타데이터 중심 | 테이블·카탈로그 |
| 쓰는 때 | 도메인 병목 | 분산 원천 통합 | 레이크+DW 통합 |
현대 스택과 계약
수집은 ELT·CDC·큐, 저장·변환은 클라우드 DW·레이크하우스와 dbt, 서빙은 BI와 입니다. 거버넌스 도구는 ·계보, 품질 검증, 동적 마스킹입니다. 이 신선도·분포·스키마를 밖에서 읽습니다.
방향은 스트림+배치의 실시간에 가깝게 묻는 분석, ML 파이프라인 통합, 그리고 입니다. 계약은 스키마·호환·품질 SLO를 생산자가 지키고 소비자가 신뢰하는 인터페이스입니다. 메시의 제품 원칙을 코드와 게이트로 옮긴 것입니다.
답안은 네 원칙, 메시≠패브릭≠레이크하우스 표, 데이터 계약이 제품을 실현함을 한 장에 씁니다.