PE Notes · AI
모델 전도 공격
공개 API의 확률 출력만으로 학습 원문·민감 속성을 거꾸로 추정하는 모델 전도와, 멤버십 추론·추출 공격과의 차이, 차분 프라이버시 중심의 대응을 정리합니다.
모델은 학습 표본의 패턴을 파라미터에 남깁니다. 의료 기록, 얼굴, 금융 속성처럼 민감한 값이 그 안에 녹아 있으면, 공격자는 가중치를 훔치지 않고도 입출력만 보고 원본에 가까운 그림을 되살릴 수 있습니다. 은 이 역추정을 프라이버시 위협으로 본 이름입니다.
공격이 돌아가는 방식
전제는 블랙박스 API입니다. 질의를 반복하고, 클래스 확률이나 로짓을 모은 뒤, 목표 클래스가 높게 나오게 입력을 거꾸로 최적화합니다. 얼굴 인식이면 특정 인물의 평균 얼굴에 수렴하는 식이 대표입니다.
수식으로 적으면 목표 클래스 (c)에 대해 (x^{*} = \arg\max_{x} f(x)[c]) 를 반복하는 루프입니다. 내부 가중치를 몰라도 되고, 확률 벡터가 자세히 나올수록 재구성이 쉬워집니다. 같은 질의 루프를 대리 모델 학습으로 돌리면 로 이어지고, 추출된 모델은 다시 전도와 회피의 발판이 됩니다.
| 유형 | 무엇을 알아내나 |
|---|---|
| 이미 아는 일부 특성 외에 질병·소득 같은 숨은 속성을 맞힌다. | |
| 데이터 재구성 | 이미지·텍스트 등 학습 원본에 가까운 샘플을 복원한다. |
| 특정 표본이 학습 세트에 들어 있었는지만 가른다. |
멤버십 추론은 전도보다 목표가 좁습니다. “누구의 얼굴인가”가 아니라 “이 환자가 학습에 쓰였는가”만으로도 의료·금융에서는 사고가 됩니다.
이웃 공격과 가르기
추론 단계 공격은 목표가 갈립니다. 회피는 지금 입력을 틀리게 하고, 추출은 모델을 베끼며, 전도는 학습 데이터를 엿봅니다.
| 비교축 | 모델 전도 | 회피 공격 | 모델 추출 |
|---|---|---|---|
| 목표 | 학습 데이터 프라이버시 | 오분류 | 모델 지적재산 |
| 표적 | 원본·속성 (간접) | 추론 결과 (직접) | 구조·파라미터 |
| 필요 권한 | API | API | API |
| 피해 | 개인정보 유출 | 오작동 | IP 탈취 |
| 탐지 | 어렵다 | 입력 이상이 보이기도 한다 | 질의 패턴 감시 |
화이트박스는 가중치가 열려 재구성이 빠르고, 블랙박스는 질의 예산과 출력 해상도에 달립니다. 회색 상자는 구조만 아는 중간입니다. 답안에서는 세 공격을 대상·피해로 한 표에 넣는 것이 짧습니다.
막는 층
학습에 노이즈를 넣는 쪽과, API가 내주는 정보를 줄이는 쪽과, 제도와 로그로 남는 쪽이 같이 갑니다.
| 층 | 수단 | 효과 |
|---|---|---|
| API | 질의 속도제한 | 역최적화에 필요한 시행 횟수를 깎는다. |
| API | , Top-1만 반환 | 확률 벡터를 숨기거나 뭉개 기울기를 흐린다. |
| 모델 | 개별 표본의 영향에 수학적 상한을 건다. | |
| 모델 | 워터마킹·난독화 | 도용 흔적과 구조 노출을 줄인다. |
| 운영·제도 | 이상 질의 로그, OWASP LLM 점검 | 반복 공격을 남기고 대응 틀을 맞춘다. |
원시 데이터를 한곳에 모으지 않는 연합학습은 공격 면을 줄이는 보조 수단입니다. 신뢰성 평가에서는 멤버십 추론 성공률이 낮을수록 프라이버시가 낫다고 봅니다.