모델 양자화

정의

모델 안의 숫자 값을 더 간단한 형태로 줄여, 모델을 가볍고 빠르게 만드는 기법.

자세한 설명

모델 안에 저장된 숫자 값을 더 간단한 형태로 줄여, 모델의 크기를 가볍게 하고 계산 속도를 높이는 기법을 말합니다. 정밀도를 약간 낮추는 대신 용량과 속도에서 큰 이득을 얻을 수 있어, 성능이 낮은 PC 나 휴대폰, 작은 서버에서도 모델을 돌릴 수 있게 해 줍니다. 다만 정밀도를 낮추는 만큼 답의 품질이 아주 조금 떨어질 수 있어, 중요한 업무에 쓸 때는 양자화 전후의 결과를 비교해 보는 것이 좋습니다. 오픈 웨이트 모델을 내 컴퓨터에서 돌릴 때 자주 쓰이는 방법입니다.

예를 들면

큰 모델을 양자화해 사내 PC 에서도 느리지 않게 돌리게 만듭니다.

관련 용어