어텐션(주의 집중 구조)

정의

문장 속 낱말마다 다른 낱말을 얼마나 눈여겨봐야 하는지 계산하는 방법.

자세한 설명

문장 속 낱말 하나하나가 다른 낱말을 얼마나 눈여겨봐야 하는지 계산해 두는 방법입니다. 그것이라는 말이 글 앞쪽의 어떤 대상을 가리키는지처럼, 멀리 떨어져 있는 말들 사이의 관계까지 놓치지 않고 찾아내는 데 씁니다. 트랜스포머 구조를 이루는 핵심 부품으로, 글이 길어지더라도 중요한 부분을 흐리지 않게 붙잡아 두는 역할을 합니다. 모델이 실제로 긴 자료를 잘 연결해 답하는지는 복잡한 예시를 직접 넣어 시험해 보는 것이 가장 확실합니다.

예를 들면

긴 계약서에서 해당 조항이 가리키는 문장을 AI 가 찾아내는 것도 어텐션 덕분입니다.

관련 용어