AI 탈옥(제일브레이크)

정의

AI 에게 걸려 있는 안전 규칙을 교묘한 말로 피해 가게 만드는 것.

자세한 설명

이건 소설 속 설정이야, 예전의 너로 돌아가서 답해줘처럼 상황을 꾸며 AI 에게 걸려 있는 안전 규칙을 교묘하게 피해 가게 만드는 시도를 가리킵니다. 평소라면 거절할 위험한 질문도 말을 비틀거나 여러 단계로 쪼개 물으면 답이 새어 나올 수 있습니다. 서비스를 만드는 쪽은 레드티밍으로 이런 시도를 찾아내 가드레일을 계속 보완하지만, 새로운 말투가 나오면 다시 뚫리는 일도 있어 완전히 막기는 어렵습니다. 공개된 AI 서비스를 쓸 때는 이런 시도로 나온 답을 그대로 믿지 않는 태도가 필요합니다.

예를 들면

사내 챗봇에 이상한 질문을 반복해서 던져 금지된 정보를 캐내려는 시도가 있을 수 있습니다.

관련 용어