RoPE (Rotary Position Embedding)

쉽게 이해하기

RoPE는 AI가 문장에서 단어의 위치를 파악하는 방법입니다. 단어가 문장 앞에 있는지 뒤에 있는지, 두 단어가 얼마나 떨어져 있는지를 회전 각도로 표현합니다. GPT-4, LLaMA, Gemini 등 현재 주요 LLM 대부분이 채택하고 있으며, 긴 문서 처리 능력의 핵심 기술입니다.

기술 심층 분석

• 핵심 원리: 위치 정보를 쿼리/키 벡터에 회전 행렬로 인코딩합니다. $\mathbf{q}_m \cdot \mathbf{k}_n = (\mathbf{R}_m \mathbf{q})^T (\mathbf{R}_n \mathbf{k}) = \mathbf{q}^T \mathbf{R}_{n-m} \mathbf{k}$ 내적 결과가 절대 위치 $m, n$이 아닌 **상대 거리 $n-m$**만 의존 → 상대 위치 자동 인코딩

• 2D 회전 공식 (차원 쌍 $d$번째): $\begin{bmatrix} q_{2d} \\ q_{2d+1} \end{bmatrix}_m = \begin{bmatrix} \cos(m\theta_d) & -\sin(m\theta_d) \\ \sin(m\theta_d) & \cos(m\theta_d) \end{bmatrix} \begin{bmatrix} q_{2d} \\ q_{2d+1} \end{bmatrix}$ $\theta_d = 10000^{-2d/D}$ — 차원마다 다른 주파수로 다양한 거리 해상도 표현

• 장문 외삽(Context Extension):

  • YaRN: 주파수별 스케일링 팩터 차등 적용
  • LongRoPE: 훈련 없이 컨텍스트 2M 토큰까지 확장
  • RoPE Scaling: $\theta_d' = \theta_d \cdot s$로 단순 스케일링

• ALiBi와 비교: RoPE는 학습된 위치 표현, ALiBi는 어텐션 편향 직접 조작

Footnotes