추론(인퍼런스)

정의

학습을 마친 AI 모델이 새 입력을 받아 실제 답을 내놓는 과정.

자세한 설명

학습을 모두 마친 모델이 새로운 입력을 받아 실제 답을 내놓는 과정을 말합니다. 모델을 가르치는 학습 단계와 달리, 추론은 서비스를 쓸 때마다 매번 일어나는 일로, 질문을 보내고 답이 돌아오는 그 순간이 바로 여기에 해당합니다. 여기에 드는 컴퓨터 자원과 시간이 응답이 얼마나 빠른지, 요금이 얼마나 드는지를 함께 정합니다. 응답 속도가 중요한 일이라면 모델의 크기나 서버 위치가 지연을 만드는 원인인지 짚어 보는 것이 도움이 됩니다.

예를 들면

챗봇에 질문을 보내고 답이 돌아오는 그 순간이 추론입니다.

관련 용어