AI 가드레일

정의

AI 가 하지 말아야 할 말이나 행동의 범위를 미리 정해 막아 두는 장치.

자세한 설명

욕설이나 차별적인 표현, 근거 없는 의료·법률 조언, 회사가 하지 않은 약속 같은 것을 AI 가 답하지 못하도록 미리 범위를 정해 막아 두는 장치를 말합니다. 시스템 프롬프트에 규칙을 적어 두는 간단한 방식부터, 답을 내보내기 전에 따로 검사하는 별도 단계를 두는 방식까지 여러 형태가 있습니다. 손님에게 바로 노출되는 챗봇일수록 가드레일이 허술하면 회사 이미지에 곧바로 영향을 줄 수 있습니다. 프롬프트 인젝션이나 탈옥 시도를 막는 첫 번째 방어선 역할도 함께 맡습니다.

예를 들면

매장 챗봇이 환불·교환 약속은 하지 않고 담당자에게 전달하겠습니다로만 답하게 가드레일을 걸어 둡니다.

관련 용어