LLM 수학 기초 1: 벡터와 내적

왜 필요한가요

LLM 논문에는 벡터와 내적이 매우 자주 등장합니다.
특히 Attention의 점수 계산은 내적을 기반으로 합니다.

벡터를 한 문장으로

벡터는 여러 숫자를 한 묶음으로 표현한 값입니다.
예를 들어 단어를 숫자로 표현한 임베딩도 벡터입니다.

내적을 한 문장으로

내적은 두 벡터가 얼마나 비슷한 방향인지 나타내는 값입니다.

• 값이 크면: 방향이 비슷합니다.
• 값이 작거나 음수면: 방향이 다릅니다.

LLM에서의 의미

Attention에서는 현재 토큰(Query)과 비교 대상 토큰(Key)의 내적을 계산합니다.
이 값이 클수록 "더 관련 있다"라고 해석하고 더 큰 가중치를 줍니다.

최소 체크포인트

• 벡터는 "특징의 묶음"입니다.
• 내적은 "유사도 점수"처럼 사용됩니다.
• Attention의 첫 단계는 Q와 K의 내적 계산입니다.