AI 학습용 데이터 품질관리

모델이 아무리 정교해도, 학습 데이터가 비뚤어지면 출력도 비뚤어집니다. 공공·의료·금융처럼 오판 비용이 큰 영역일수록 데이터 품질ⓘ을 알고리즘과 같은 무게로 둡니다. 국내에서는 과학기술정보통신부 주도의 AI 학습용 데이터 품질관리 가이드라인이 그 기준을 제공합니다.

품질 요소

일반 데이터 품질에, 학습에만 있는 축이 더해집니다. 레이블이 맞고, 실제 사용 환경을 대표해야 합니다.

현장 절차는 기획에서 품질 기준을 먼저 적고, 수집·동의, 데이터 클렌징ⓘ(정제·중복 제거·형식 통일), 어노테이션ⓘ, 검수, 메타데이터 등록으로 이어집니다. 검수는 표본 수작업과 전수 자동 검사를 겹치는 구성이 흔합니다.

가이드라인 v2.0과 v4.0

2021년 v2.0은 학습 데이터셋 일반과 수집–전처리–어노테이션–검수에 초점이 있었습니다. 2023년 v4.0은 생성형 AI와 합성데이터ⓘ까지 범위에 넣고, 기획부터 활용까지로 단계를 넓혔습니다. 레이블은 일치도만이 아니라 신뢰·일관·편향을 같이 보고, 개인정보·공정성·대표성 요건이 강해졌습니다.

편향은 수집에서 특정 집단이 과대·과소 대표되는 선택 편향, 현실 분포를 못 담는 표현 편향, 레이블 기준이 사람마다 다른 측정 편향으로 적습니다. 측정 편향은 레이블 편향ⓘ과 바로 만납니다.

어노테이션과 IAA

같은 표본을 여러 주석자가 보고, 일치 정도를 주석자 간 일치도 (IAA)ⓘ로 재습니다. Cohen's Kappa, Fleiss' Kappa가 자주 쓰입니다. 값이 높으면 가이드가 작동하는 것이고, 낮으면 지침이 애매하거나 교육이 부족한 신호입니다.

현장에서는 가이드를 먼저 공유하고, Kappa 하한(예: 0.7 또는 0.8)을 계약·내부 기준으로 명시합니다. 애매한 경계 사례를 문서에 남기지 않으면 IAA는 다시 떨어집니다. 공공 사업은 가이드라인 준수를 납품 조건으로 두는 경우가 많습니다.

기술사 답안 포인트

기출 이력

제140회 정보관리기술사 2교시

관련 용어

• 데이터 품질ⓘ
• 어노테이션ⓘ
• 주석자 간 일치도 (IAA)ⓘ
• 데이터 클렌징ⓘ
• 합성데이터ⓘ
• 레이블 편향ⓘ