LoRA

쉽게 이해하기

LoRA는 AI 전체를 수정하지 않고, 아주 작은 부분만 추가로 붙여서 학습시키는 기술입니다. "AI 본체는 건드리지 말고, 옆에 작은 메모지를 붙이자"라는 발상에서 출발합니다.

안경에 비유하면 이해하기 쉽습니다. 눈이 나빠졌을 때 눈 자체를 수술하는 대신, 안경을 쓰면 되잖아요? LoRA도 마찬가지로 AI 본체를 바꾸는 대신, 작은 보조 장치를 끼워 넣어서 원하는 능력을 추가합니다.

Stable Diffusion이라는 그림 그리는 AI에서 LoRA가 크게 유행했습니다. 사용자들이 LoRA로 특정 화풍이나 캐릭터 스타일을 학습시켜 공유하는 문화가 만들어졌습니다. 기업들도 LoRA를 활용해 고객 상담용 AI를 자기 회사 말투와 지식에 맞게 조정합니다. 마이크로소프트 연구팀이 2021년에 발표한 이 기술은 지금 가장 널리 쓰이는 효율적 학습 방법입니다.

LoRA의 또 다른 장점은, 목적에 따라 여러 개를 만들어 바꿔 끼울 수 있다는 것입니다. 하나의 AI에 법률용, 의료용, 마케팅용 LoRA를 각각 만들어 필요할 때 갈아 끼우면 됩니다.

기술 심층 분석

📚 선수학습: Fine-tuning 개념을 먼저 숙지하세요.

핵심 수학적 구조

사전학습 가중치 $W_0 \in \mathbb{R}^{d \times k}$에 대해 업데이트를 저랭크 행렬의 곱으로 표현한다:

$W = W_0 + \Delta W = W_0 + BA$

여기서 $B \in \mathbb{R}^{d \times r}$, $A \in \mathbb{R}^{r \times k}$이고, 랭크 $r \ll \min(d, k)$이다. $d = k = 4096$, $r = 16$이면 원래 $16.8M$ 파라미터 대신 $131K$만 학습 — 약 128배 감소.

초기화와 스케일링$A$는

가우시안 랜덤 초기화, $B$는 영행렬로 초기화하여 $\Delta W = 0$에서 시작한다. 스케일링 팩터 $\alpha/r$을 적용:

$h = W_0 x + \frac{\alpha}{r} BAx$

일반적으로 $\alpha = 2r$. 랭크 $r$ 선택: 단순 태스크 $r = 4 \sim 8$, 복잡한 태스크 $r = 64 \sim 256$.

추론 시 병합$W_\text{merged} = W_0 + BA$

병합 후 원본 모델과 동일한 추론 속도를 유지한다. 여러 태스크별 LoRA를 교체하며 멀티태스크 서빙 가능. QLoRA는 여기에 4비트 양자화를 결합하여 메모리를 더욱 줄인다.

변형

DoRA는 가중치를 크기/방향으로 분해, AdaLoRA는 레이어별 랭크 자동 할당, **LoRA+**는 $A$와 $B$에 서로 다른 학습률 적용.

Footnotes