PE Notes · AI
AI 신뢰성 검인증 (CAT)
공공·산업 AI를 성능만이 아니라 안전·공정·설명까지 제3자가 시험하는 국내 신뢰성 검인증의 구성, 항목, 신청부터 사후관리까지의 절차를 한 장으로 정리합니다.
정확도 숫자만 보고 공공·산업에 AI를 올리면, 환각·편향·보안 사고를 사용자가 나중에야 알게 됩니다. 이용자는 모델 카드와 로그를 직접 검증하기 어렵고, 사업자의 자체 점검만으로는 사회적 신뢰를 설득하기 부족합니다. 은 이 간극을 국가 체계로 메우려는 제도입니다.
제도 구성
과학기술정보통신부가 추진하고, 한국정보통신기술협회(TTA) 등이 시험을 맡습니다. 대상은 공공·민간에서 쓰는 AI 시스템·모델·서비스이며, 고영향·고위험 영역에 먼저 붙는 편이 실무적입니다. 목적은 기술적 신뢰성을 객관적으로 확인하고, 조달·도입 때 공신력의 기준선을 만드는 데 있습니다. 법적 근거로는 AI 기본법과 고영향 AI 지침이 같이 거론됩니다.
| 층 | 누가 하나 | 무엇을 남기나 |
|---|---|---|
| CAT-1 자가진단 | 개발·사업자 | 체크리스트, 문서 공백 |
| CAT-2 제3자 시험 | 시험 기관 | 표준 테스트셋·도구 결과 |
| CAT-3 인증 | 인증 기관 | 합격·조건부·불합격, 인증 표시 |
자가진단만으로 끝내면 이해충돌이 남고, 시험만 하고 인증 표시가 없으면 조달에서 쓰기 어렵습니다. 세 층이 같이 있어야 가 문서가 아니라 검증 결과가 됩니다.
무엇을 시험하나
성능 점수 하나가 아닙니다. 안전·일관된 신뢰·보안을 먼저 두고, ··프라이버시를 같은 표에 올립니다.
| 항목 | 시험이 묻는 것 | 보는 지표 예 |
|---|---|---|
| 성능 | 과업에 맞는 정확도·정밀도·재현율이 기준을 넘는가 | F1, 벤치마크 통과율 |
| 견고성 | 적대 입력·분포 변화에도 무너지지 않는가 | 강건성 점수, 공격 내성 |
| 공정성 | 성별·연령·지역 같은 보호 특성에서 기울어 있지 않은가 | 편향 지수, Equalized Odds |
| 설명가능성 | 판단 근거를 사람이 읽을 수 있는가 | XAI 도구 일관성, 설명 이해도 |
| 프라이버시 | 학습·추론에서 개인정보가 새지 않는가 | 처리 적절성, 재식별 위험 |
| 보안 | 적대적 질의·추출에 얼마나 버티는가 | 공격 성공률(낮을수록 낫다) |
| 안전성 | 오작동이 인명·재산 피해로 번지지 않게 막는가 | 유해 출력률, 안전 벤치마크 |
속성과 지표를 한 줄씩 짝지으면, 평가 토픽의 일곱 속성과 같은 그림이 됩니다. 차이점은 자체 리포트가 아니라 시험 기관의 기준값 비교라는 점입니다.
신청에서 사후관리까지
인증은 한 번 찍고 끝나는 마크가 아닙니다. 데이터 드리프트와 모델 교체가 있으면 시험 시점의 점수가 운영 점수와 갈라집니다.
| 단계 | 하는 일 |
|---|---|
| 신청·준비 | 시스템 개요와 , 데이터 출처, 자가점검 결과를 낸다. |
| 서류 검토 | 항목별 문서가 빠지지 않았는지 본다. |
| 기술 시험 | 기능 벤치마크, 적대적 강건성, 공정·편향 데이터셋을 돌린다. |
| 심의·발급 | 기준값과 비교해 합격·조건부 합격·불합격을 정하고 인증 표시를 준다. |
| 사후관리 | 주기적 재평가로 갱신하거나, 중대 변경 때 취소한다. |
기대는 공공조달의 품질 바닥선, 기업의 자발적 개선(인증 표시), 해외 규제(EU AI Act 등)에 맞출 국내 기준입니다. 한계는 기술 변화보다 기준 갱신이 느릴 수 있다는 점, 인증 시점과 운영 시점의 성능 차이, 시험 인력·인프라 부족입니다. 그래서 사후 모니터링을 절차의 일부로 적어야 답이 닫힙니다.