RLHF(사람 피드백 강화학습)

정의

사람이 AI 의 여러 답 중 더 나은 답을 골라 주며 모델의 대답 방식을 다듬는 방법.

자세한 설명

사람이 AI 가 내놓은 여러 답 가운데 더 나은 쪽을 골라 주면서, 모델이 답하는 방식 자체를 다듬어 가는 학습 방법입니다. 사실을 많이 아는 것과 사람이 더 선호하는 방식으로 답하는 것은 서로 다른 문제라, 강화학습의 원리를 빌려 더 도움이 되고 덜 위험하며 더 솔직하게 답하도록 다듬는 데 씁니다. 지금 널리 쓰이는 대화형 AI 들의 공손하고 명확한 말투는 대부분 이 과정을 거치며 만들어졌습니다. 다만 다듬어진 모델이라도 사실 자체가 맞는지는 별도로 확인해야 한다는 점은 달라지지 않습니다.

예를 들면

같은 질문에도 더 공손하고 명확하게 답하도록 다듬는 작업에 RLHF 가 쓰입니다.

관련 용어