PE Notes · SW
메타모픽 테스팅
정답을 몰라도 입력 변환과 출력 관계로 검증하는 메타모픽 테스팅을 오라클 문제와 절차로 잡고, ML 관계 유형과 도메인·표준 자리를 정리합니다.
검색·수치·학습 모델은 “정답 JSON”이 없습니다. 실행은 되는데 맞는지 모릅니다. 입니다. 은 절대값 대신, 입력을 바꿨을 때 출력이 지켜야 할 관계로 검증합니다.
정의, 관계, 절차
입력을 변환하면 출력 사이에 성립해야 하는 성질을 (MR)라고 합니다. 두 실행을 비교하므로 정답 표를 몰라도 됩니다. 검색에서 동의어 질의의 결과 집합이 비슷해야 하고, 분류 모델에서 스케일만 바꾼 입력이 같은 라벨이어야 하며, sin(x) = −sin(−x)처럼 수학 대칭을 쓸 수 있습니다.
절차는 셋입니다. 도메인 지식으로 MR을 고르고, 소스 케이스 x₁ → y₁을 실행하고, 변환한 x₂ → y₂가 MR을 만족하는지 봅니다. 기존 케이스를 재활용해 후속을 자동으로 늘릴 수 있습니다. 이 대표값의 절대 기대를 전제한다면, MT는 기댓값 대신 불변식을 전제합니다.
ML에서 쓰는 관계
일관성은 같은 입력에 같은 출력입니다. 단조성은 입력이 늘 때 출력이 한 방향으로만 움직입니다. 대칭은 순서·거울을 바꿔도 의미가 보존됩니다. 이미지 회전·반전 뒤에도 클래스가 같아야 한다면 증강이 곧 MR입니다.
공정성은 보호 속성만 바꿨을 때 결정이 뛰지 않아야 한다는 MR로 볼 수 있습니다. 추천은 무관한 아이템을 넣어도 기존 상위가 무너지지 않아야 합니다. 장점은 오라클이 없는 시스템, 케이스 자동 확장입니다. 한계는 MR이 도메인 지식에 달렸고 완전성을 증명하기 어렵다는 점입니다. 빠진 관계는 구멍입니다.
도메인과 기존 기법
과학 계산·기후·물리 엔진은 닫힌 정답이 없습니다. 의료 영상은 회전·대칭 뒤 진단이 같아야 하고, 주행 인지는 밝기 변화에도 객체가 남아야 합니다. 강건성과 안전 논증에 관계가 증거입니다.
계열 논의와 ETSI SAI·IEEE 쪽 AI 시험 가이드에 관계 기반 기법이 올라옵니다. 기존 블랙박스는 예상 출력이 있어야 합격선을 긋습니다. MT는 절대 출력이 없고 관계만 있으면 됩니다. 자동화는 MR만 안정되면 변환 생성기가 케이스를 늘립니다. 분류트리·경계값이 입력 공간을 자를 때, MT는 그 위 변환 축을 더합니다.
| 비교축 | 전통 블랙박스 | 메타모픽 |
|---|---|---|
| 오라클 | 예상 출력 필요 | 관계만 필요 |
| 강점 | 명세가 분명할 때 | ML·수치·검색 |
| 약점 | 정답 없는 시스템 | MR 설계 부담 |
| 자동화 | 기대값 스크립트 | 변환으로 후속 생성 |
답안은 오라클 문제 → MR → 세 절차, ML 일관·대칭, 전통 기법과 표 비교를 한 장에 씁니다.