PE Notes · AI
벤치마크 데이터셋
과업별로 공개된 표준 평가셋과 지표, LLM 벤치마크, 그리고 오염·포화·실제 성능 괴리를 한 장에서 정리합니다.
각자 다른 데이터로 점수를 내면 비교가 되지 않습니다. 는 특정 과업의 성능과 재현을 위해 공개된 데이터와 평가 절차입니다. 모델 순위를 가리는 공통 자가 됩니다.
과업별 대표 세트
| 과업 | 데이터셋 | 보는 것 |
|---|---|---|
| 이미지 분류 | 1,000 클래스, 약 120만 장. 딥러닝 비교의 오랜 기준 | |
| 객체 탐지 | COCO | 80 범주, 상자·분할 포함 |
| 자율주행 인지 | KITTI | 도로 장면의 3D 탐지 |
| 자연어 이해 | 여러 NLU 과제를 한 스위트로 | |
| 독해·QA | SQuAD | 위키 지문에서 답을 찾거나, 답 없음을 가린다 |
| LLM 지식 폭 | 여러 학문 분야 다지선다 | |
| 코드 생성 | HumanEval | 함수 구현의 통과율 (Pass@k) |
| 상식 추론 | HellaSwag | 이어질 문장을 고른다 |
| 번역 | WMT | 다국어 번역 품질 |
| 음성 | LibriSpeech | 영어 음성–텍스트 |
한국어는 KLUE, KoBEST, KMMLU처럼 언어·제도 지식을 담은 세트가 따로 있습니다. 영어 세트만으로 국내 서비스를 재면 빈틈이 납니다.
지표는 과업을 따른다
세트가 같아도 지표가 다르면 순위가 흔들립니다. 분류는 정확도·F1·AUC, 생성은 BLEU·ROUGE·BERTScore와 인간평가, 탐지는 mAP와 IoU, 회귀는 RMSE·MAE가 자주 붙습니다.
자동 지표는 빠르고, 유창함·안전은 사람 평가가 남습니다. 평가 방법 노트와 같은 층입니다.
LLM 벤치마크
언어모델은 지식·수학·상식·코드·대화가 한 점수로 합쳐지지 않습니다. MMLU는 지식 폭, MATH는 풀이, HumanEval·SWE-bench는 코드, MT-Bench는 여러 턴 대화입니다.
리더보드는 순위를 빠르게 보여 주지만, 세트에 맞춰 튜닝하면 현장과 어긋납니다. 사람이 직접 고르는 아레나형 동적 평가가 그 빈칸을 메우려 합니다.
한계
| 한계 | 설명 |
|---|---|
| 시험 문항이 사전학습에 들어가 암기 점수가 성능으로 보인다 | |
| 인간 수준에 가까워지면 모델 사이 변별이 사라진다 | |
| 현장과의 괴리 | 공개 세트 점수가 서비스 분포와 다르다 |
| 편향 | 언어·문화가 한쪽으로 기울어진 세트가 많다 |
대응은 학습 데이터에서 시험 문항을 걸러 내고, 포화되면 더 어려운 세트로 갈아타며, 매번 새 문항을 만드는 동적 평가를 붙이는 쪽입니다. 정확도 외에 안전·공정·비용까지 같이 보는 다차원 평가가 신뢰성 논의와 만납니다.
기술사 답안 포인트
관련 용어
관련 토픽
AI
모델 평가와 신뢰성 AI
분류·회귀·생성·군집·검증으로 나눈 평가 지표와, 안전성·공정성·설명가능성 등 신뢰성 AI의 핵심 속성을 한 장에서 연결합니다.
AI
PLM, 프롬프트·하네스 엔지니어링, Multimodal LLM
사전학습 언어모델이 어떻게 만들어지고, 프롬프트와 실행 환경(하네스)이 무엇을 나누며, 이미지·음성·텍스트를 한 코어에서 다루는 멀티모달 LLM을 정리합니다.
AI
sLLM — Smaller Large Language Model
초거대 LLM을 증류·양자화·가지치기로 줄여, 온프레미스와 온디바이스에서 낮은 지연으로 쓰는 소형 언어모델의 위치와 한계를 정리합니다.