Top-p 샘플링

정의

다음에 나올 말을 고를 때, 가능성이 높은 후보 범위 안에서만 고르게 하는 조절 방법.

자세한 설명

AI 가 다음에 나올 말을 고를 때, 가능성이 높은 후보들의 범위 안에서만 고르게 제한하는 조절 방법입니다. 온도와 함께 쓰이며, 전혀 말이 안 되는 낮은 가능성의 표현이 답에 섞여 들어가지 않도록 범위를 좁혀 주는 역할을 합니다. 값이 낮을수록 더 뻔하고 안전한 답이 나오고, 값이 높을수록 더 다양한 표현이 나올 수 있습니다. 보통은 서비스가 적당한 기본값을 미리 정해 두고 있어, 직접 서비스를 만드는 경우가 아니라면 건드릴 일이 많지 않은 설정입니다.

예를 들면

개발 직원이 AI 기능을 만들 때 답의 다양성을 맞추려고 이 값을 조절합니다.

관련 용어