PE Notes · DB
데이터 관측가능성
파이프라인 전 구간의 신선도·분포·볼륨·스키마·계보를 실시간으로 읽어 데이터 다운타임을 줄이는 관측가능성과, 품질관리와의 차이를 정리합니다.
파이프라인이 길어지면 값이 늦게 오거나, 어제와 다른 분포로 오거나, 컬럼이 사라집니다. 그 사이 대시보드와 모델은 틀린 숫자를 믿습니다. 은 파이프라인 바깥에서 상태·품질·흐름을 읽어, 문제가 커지기 전에 찾고 고치는 능력입니다.
소프트웨어 관측가능성이 메트릭·로그·트레이스로 내부를 추론하듯, 데이터 쪽은 적재·변환·제공 전 구간을 같은 시선으로 봅니다.
다섯 축
값이 새것인지, 분포가 이상한지, 양이 빠졌는지, 구조가 바뀌었는지, 어디서 왔는지를 같이 봅니다.
| 축 | 보는 것 | 흔한 신호 |
|---|---|---|
| 신선도 | 마지막 갱신이 기대한 주기인가 | 배치 지연, 누락 갱신 |
| 분포 | 통계가 평소 범위인가 | 이상치, |
| 볼륨 | 행 수·크기가 예상과 맞는가 | 파이프 중단, 누락 레코드 |
| 스키마 | 컬럼·타입이 그대로인가 | 열 삭제·추가, 형 변환 |
| 계보 | 원천에서 소비까지 경로 | 업스트림 원인, 다운스트림 범위 |
는 “얼마나 최신인가”입니다. 계보는 로, 컬럼·테이블 단위 의존을 그래프로 남깁니다.
다운타임과 탐지
은 값이 없거나 틀려서 분석·결정에 쓸 수 없는 시간입니다. 원인은 파이프 장애, 스키마 변경, 원천 오류, 볼륨 급변, 지연입니다. 영향은 잘못된 리포트, 모델 품질 하락, 신뢰 손실로 이어집니다.
탐지는 고정 임계값(NULL 비율, 건수 하한)과, 계절·요일을 배운 동적 임계값을 겹칩니다. 이상이면 알림·티켓으로 넘기고, 계보로 원인을 역추적합니다.
| 축 | 품질관리 | 관측가능성 |
|---|---|---|
| 시점 | 배치 후·정기 점검 | 연속 감시 |
| 규칙 | 미리 적은 검사 | 알려진 규칙 + 낯선 이탈 |
| 계보 | 별도 도구 | 탐지와 한몸 |
| 목표 | 기준 충족 | 다운타임 단축 |
둘은 대체 관계가 아닙니다. 거버넌스가 기준을 주고, 품질관리가 차원을 재며, 관측가능성이 파이프를 지킵니다.
구현 계층
수집은 메타·로그·통계를 파이프에서 걷고, 분석은 규칙·이상 탐지·계보 그래프를 돌리며, 액션은 알림·격리·근본 원인 지원입니다.
도구는 관측 전용 플랫폼, 오픈소스 계보(OpenLineage, Marquez), 변환·테스트·카탈로그를 붙인 스택으로 나눕니다. 카탈로그만 있고 신선도 알림이 없으면 목록은 있어도 장애는 늦게 보입니다. 과 가 기준을 비워 두면, 관측 수치도 한 번 보고 끝납니다.