PE Notes · DB
데이터 품질관리와 데이터 거버넌스
정확성·완전성·일관성 등 품질 여섯 차원과, 프로파일링·클렌징·모니터링 절차, 정책·역할·계보를 묶는 데이터 거버넌스를 정리합니다.
잘못된 값이 들어가면 분석과 모델이 같이 비뚤어집니다. 은 값이 용도에 맞게 정확한지 보는 일이고, 는 누가 어떤 기준으로 그 값을 책임질지 정하는 일입니다. 품질은 거버넌스 안에서 재고 고칩니다.
품질 여섯 차원
값은 맞는지, 빠졌는지, 시스템마다 같은지, 규칙 안에 있는지, 하나만 있는지, 쓰는 순간에 새것인지로 나눕니다.
| 차원 | 보는 것 | 재는 법 |
|---|---|---|
| 정확성 | 실제와 같은가 | 실물·마스터 대조 |
| 완전성 | 필수 칸이 비었는가 | NULL·미입력 비율 |
| 일관성 | 시스템·시점이 달라도 모순이 없는가 | 교차 비교 |
| 유효성 | 형식·범위·규칙을 지키는가 | 도메인 위반 비율 |
| 유일성 | 같은 레코드가 둘인가 | 중복 비율 |
| 적시성 | 필요한 때에 최신인가 | 갱신 지연 |
현장 순서는 원천과 항목을 파악하고, 임계값(예: 완전성 95%)을 정한 뒤 으로 분포·NULL·중복을 봅니다. 위반을 고치는 일이 이고, 대시보드로 같은 지표를 반복 측정합니다.
| 구분 | 프로파일링 | 클렌징 |
|---|---|---|
| 하는 일 | 통계로 문제를 찾음 | 오류를 고침 |
| 결과 | 품질 리포트 | 정제된 데이터 |
거버넌스 구성
거버넌스는 가용성·무결성·보안·사용성을 정책, 프로세스, 조직, 기술로 묶습니다. CDO가 방향을 잡고, 위원회가 분쟁을 조정하며, 가 도메인 품질을, 커스터디언이 저장·접근을 맡습니다.
| 부품 | 역할 |
|---|---|
| 데이터 카탈로그 | 자산 목록, 위치, 소유자 |
| 메타데이터 | 정의, 이력 |
| 발생부터 변환·이동 | |
| 분류·접근 정책 | 민감도와 권한 |
| 고객·제품 같은 정본 |
성숙도는 개인 의존(초기)에서 표준 정책(정의), 자산으로 개선(최적화)으로 올라갑니다.
품질과 거버넌스의 관계
| 축 | 품질관리 | 거버넌스 |
|---|---|---|
| 초점 | 정확·완전·일관 | 정책·책임·프로세스 |
| 범위 | 데이터셋 | 조직 전체 자산 |
| 활동 | 프로파일링·클렌징 | 카탈로그·역할·기준 |
거버넌스가 ‘무엇을, 왜’를 정하면 품질관리가 ‘어떻게’를 실행합니다. 공공데이터 품질 지침, 데이터 기반 행정, 마이데이터 전송 품질이 같은 틀 위에 얹힙니다. 도구는 검증(Great Expectations), 카탈로그·계보(Atlas, Collibra), 통합 플랫폼으로 나눕니다.
