AI 벤치마크

정의

여러 AI 모델의 실력을 같은 기준과 문제로 비교해 보는 시험.

자세한 설명

글쓰기, 코딩, 수학, 상식처럼 분야별로 정해 둔 문제 모음에 여러 AI 모델이 얼마나 잘 답하는지를 같은 기준으로 겨루어 보는 시험을 말합니다. 새로운 모델이 나올 때마다 벤치마크 점수로 실력을 소개하는 경우가 많아, 모델을 고를 때 참고가 됩니다. 다만 점수가 높다고 해서 내가 실제로 쓸 업무에서도 항상 잘한다는 뜻은 아니므로, 그 벤치마크가 다루는 문제가 내 쓰임과 비슷한지 따로 살펴봐야 합니다. 리더보드에서 여러 모델의 벤치마크 결과를 한눈에 비교해 볼 수 있습니다.

예를 들면

새 모델이 나올 때마다 벤치마크 점수가 올랐다는 소식이 함께 나옵니다.

관련 용어