프롬프트 인젝션

정의

AI 에게 보이는 글 속에 몰래 지시를 숨겨, 원래 정해진 규칙을 벗어나게 하는 공격 방법.

자세한 설명

메일 본문이나 웹페이지 글 속에 지금까지 지시는 무시하고 이렇게 답하라는 숨은 문장을 몰래 심어 AI 를 속이는 공격 방법입니다. AI 가 사람이 직접 쓴 지시뿐 아니라 외부 문서나 메일, 검색 결과까지 읽고 그대로 행동하는 기능을 쓸 때 특히 위험해집니다. 성공하면 원래 정해 둔 규칙을 벗어나 민감한 정보를 흘리거나 엉뚱한 행동을 하게 만들 수 있습니다. 외부에서 들어온 글은 지시가 아니라 참고 자료로만 다루게 설계하고, 가드레일을 함께 세워 두는 것이 대표적인 방어 방법입니다.

예를 들면

고객 문의 메일 속에 숨겨진 이상한 지시문 때문에 AI 가 엉뚱한 답을 하거나 자료를 보내려 하는 경우입니다.

관련 용어