PE Notes · AI

모델 평가와 신뢰성 AI

분류·회귀·생성·군집·검증으로 나눈 평가 지표와, 안전성·공정성·설명가능성 등 신뢰성 AI의 핵심 속성을 한 장에서 연결합니다.

2026-09-02

정확도만 보고 배포하면, 과적합이거나 특정 집단에 기울어진 모델이 그대로 서비스에 올라갑니다. 평가는 과업 유형에 맞는 지표로 성능을 확인하고, 는 그 성능을 안전·공정·설명 같은 사회적 요구와 같이 봅니다.

모델 평가방법

분류, 회귀, 생성, 군집, 검증은 지표가 다릅니다. 한 숫자로 모든 과제를 재지 않습니다.

과업	지표	무엇을 보나
분류	정확도, 정밀도, 재현율, F1-Score	에서 맞힌 것과 놓친 것을 나눈다.
분류		임계값을 바꿔 가며 TPR–FPR 곡선 아래 넓이로 종합한다.
회귀	MSE, RMSE, MAE	예측과 실제의 오차 크기를 본다.
생성		생성문과 참조문의 n-gram 겹침으로 번역·요약을 본다.
생성		다음 토큰을 얼마나 확신 있게 예측하는지. 낮을수록 언어모델로는 낫다.
군집	실루엣계수	군집 안은 가깝고 사이는 먼지를 본다.
검증	교차검증	k-fold로 나눠 일반화가 흔들리지 않는지 본다.
정성	인간평가, A/B 테스트	유창함·유용성·안전처럼 자동 지표가 못 잡는 층을 사람이 본다.

개발 중에는 F1·BLEU·Perplexity로 빠르게 돌리고, 배포 직전에 인간평가를 붙이는 구성이 흔합니다.

기술적 점수가 높아도, 오작동이 사람을 해치거나 특정 집단을 차별하면 쓸 수 없습니다. 신뢰성은 성능 위에 안전성·공정성·투명성을 얹은 상태입니다.

속성	설명	보는 지표 예
안전성	예기치 못한 오작동이 인명·재산 피해로 번지지 않게 한다.	유해 콘텐츠 생성률, 안전 벤치마크 통과율
견고성	적대적 입력이나 분포 변화에도 성능이 무너지지 않는다.	적대적 예제에 대한 정확도 유지율
	판단 근거를 사람이 읽을 수 있게 한다.	SHAP/LIME 일관성, 설명 이해도
	특정 집단을 차별하지 않는다.	Disparate Impact, Equalized Odds
프라이버시	학습·추론에서 개인정보가 새지 않게 한다.	성공률(낮을수록 낫다)
책임성	사고가 나면 원인과 책임을 추적할 수 있다.	로그 추적, 감사 대응 시간
투명성	데이터 출처, 모델, 사용 목적을 검증할 수 있다.	공개 범위, 문서화 수준

견고성은 적대적공격 토픽과, 공정성은 편향 토픽과 한 세트로 적는 편이 답안이 짧아집니다. 제도 축으로는 NIST , EU AI Act, 국내 AI 신뢰성 검인증이 자주 붙습니다.