Rebalance

PE Notes · 보안

프롬프트 인젝션

지시와 데이터의 경계가 문장에서 무너지는 프롬프트 인젝션을 직접·간접으로 가르고, 탈옥·필터 우회와 최소 권한·사람 승인을 같은 표에 올립니다.

이 질의와 데이터를 한 문자열에 섞듯, 은 시스템 지시와 사용자·외부 텍스트를 한 컨텍스트에 넣습니다. 모델은 둘을 문법으로 가르지 못합니다. 이 이 항목을 맨 위에 둔 이유입니다.

직접과 간접

직접은 채팅창에 “이전 지시를 무시하고…”를 넣는 형태입니다. 목표는 시스템 프롬프트 무력화, 금지 출력, 숨은 지시 유출, 입니다. 간접은 웹 페이지·첨부·메일에 지시를 숨기고, 검색·RAG·에이전트가 그 문장을 읽게 합니다. 사용자는 악의 프롬프트를 치지 않아도 됩니다.

채팅 직접 인젝션, 외부 문서 간접 인젝션, 요약·메일·도구 호출 시나리오
직접은 입력창, 간접은 모델이 나중에 읽는 콘텐츠. 에이전트에 도구가 있으면 피해가 실행으로 바뀐다.
비교축 직접 인젝션 간접 인젝션
진입점 사용자 메시지 웹·문서·메일·도구 응답
누가 치나 대화 상대 콘텐츠를 심는 제3자
탐지 패턴이 보이기 쉬움 정상 문서처럼 보임
피해 역할 전환, 비밀 지시 유출 도구 호출, 유출, 결제·삭제
대응 초점 입력 분리, 출력 검열 외부 텍스트 비신뢰, 권한 축소

MCP 토픽의 도구 경유 인젝션은 간접의 실행 면입니다. 권한이 넓으면 문장 하나가 곧 동작입니다.

흐름과 취약 지점

직접은 시스템 프롬프트를 덮고, 간접은 검색 결과가 지시로 승격됩니다. 취약 지점은 프롬프트 조립, 검색 청크, 도구 설명, 도구 응답입니다.

직접 인젝션의 지시 덮어쓰기, 간접 인젝션의 검색·요약 경유, 조립·도구·출력 취약 지점
조립 단계에서 사용자 문자열을 지시와 같은 층에 두면 경계가 사라진다.

역할 놀이, 토큰 분리·인코딩, 허구 장면 요청, “처음부터 그대로 출력”은 같은 뿌리입니다. 필터 키워드만 바꾸면 우회됩니다. 완전한 차단을 약속하지 말고, 층을 나눕니다.

층을 나눈 대응

입력 필터와 출력 PII 검사는 우회됩니다. 그래서 권한을 줄이고, 데이터와 지시를 태그로 분리하며, 부작용 큰 동작은 을 겁니다. 은 모델 한 겹이 아니라 입출력·도구·감사입니다.

입력·출력 필터, 권한·샌드박스·지시 분리, 탐지·로그·이중 모델 검증
필터는 우회된다. 최소 권한과 사람 승인이 실행을 자른다.
층 수단 한계
입력 패턴 차단, XML 등 지시·데이터 분리 새 문장에 뚫림
모델 정렬, 출력 분류, 우회 프롬프트가 남음
에이전트 , 도구 허용 목록, 샌드박스 기능이 줄어듦
운영 이상 질의 탐지, 감사, 이중 모델 검증 비용·지연

와 한 그림입니다. 생성형 AI 가이드가 운영 원칙을 주면, 이 토픽은 문장이 지시가 되는 지점을 자릅니다.

기술사 답안 포인트

관련 용어

관련 토픽

← Topics 목록