Fine-tuning

쉽게 이해하기

파인튜닝은 이미 만들어진 AI를 특정 분야의 전문가로 다시 훈련시키는 것입니다. 비유하자면, 의대를 졸업한 의사가 심장 전문의가 되려면 심장 관련 수련을 추가로 받아야 합니다. AI도 마찬가지입니다. 세상의 수많은 글을 읽고 배운 AI가 있는데, 이걸 법률 전문가로 만들고 싶다면 법률 문서를 집중적으로 더 공부시키는 겁니다. 처음부터 새로 만드는 것이 아니라, 이미 배운 지식 위에 전문 지식을 얹는 것이라 시간과 비용이 훨씬 적게 듭니다.

실제로 OpenAI는 기업 고객들이 GPT-4를 자기 회사 업무에 맞게 파인튜닝할 수 있는 서비스를 제공합니다. 삼성전자도 갤럭시 스마트폰에 들어가는 AI를 한국어와 삼성 기기에 특화되도록 파인튜닝해서 탑재했습니다. Bloomberg는 금융 데이터를 집중 학습시켜 금융 전문 AI인 BloombergGPT를 만들었습니다.

이것이 오늘날 수많은 회사가 AI를 자기 사업에 활용하는 가장 기본적인 방법입니다.

기술 심층 분석

📚 이 문서는 파인튜닝의 최상위 개념입니다. 하위 기법으로 SFT, LoRA, RLHF 등이 있습니다.

개요: 사전학습 모델의 도메인 적응

**파인튜닝(Fine-tuning)**은 대규모 코퍼스¹로 사전학습된 언어 모델의 전체 파라미터를 특정 다운스트림 태스크²에 맞게 재조정하는 전이학습(Transfer Learning) 기법이다.

핵심 수학적 프레임워크

파인튜닝의 목적함수는 조건부 언어 모델링 손실로 정의된다:

$\mathcal{L} = -\sum_t \log P(y_t | y_{<t}, x)$

여기서 $x$는 입력 시퀀스, $y_t$는 시점 $t$에서의 목표 토큰이다. 모델은 교차 엔트로피(Cross-Entropy) 기반으로 전체 파라미터 $\theta$를 업데이트한다:

$\theta^* = \arg\min_\theta \left[ -\frac{1}{N}\sum_{i=1}^{N}\sum_{t=1}^{T_i} \log P_\theta(y_t^{(i)} | y_{<t}^{(i)}, x^{(i)}) \right]$

학습률 전략과 파국적 망각

가장 중요한 하이퍼파라미터는 **학습률(Learning Rate)**이다. 사전학습 대비 $10 \sim 100$배 작은 값($1 \times 10^{-5}$ ~ $5 \times 10^{-5}$)을 사용해야 하며, 학습률이 너무 크면 파국적 망각(Catastrophic Forgetting)³이 발생한다.

차별적 학습률(Discriminative Learning Rate) 기법에서는 레이어별로 다른 학습률을 적용한다:

$\eta_l = \eta_\text{base} \cdot \xi^{L - l}$

여기서 $l$은 레이어 인덱스, $L$은 총 레이어 수, $\xi < 1$은 감쇠 계수이다.

비용 구조

전체 파인튜닝은 파라미터당 약 12바이트(AdamW 기준: fp32 그래디언트 4B + 1차 모멘트 4B + 2차 모멘트 4B)의 추가 메모리가 필요하다. 70B 모델의 경우 옵티마이저 상태만 ~840GB로, 분산 학습이 필수적이다. 이러한 비용 문제를 해결하기 위해 LoRA, QLoRA, Adapter Tuning 같은 파라미터 효율적 기법들이 등장했다.

실무 적용 가이드

데이터 규모	추천 방법
수천 건 이하	LoRA, Adapter
수만~수십만 건	전체 파인튜닝
행동 정렬 필요	SFT → DPO

Footnotes

1. 코퍼스(Corpus): 모델 학습에 사용되는 대규모 텍스트 데이터 집합 ↩

2. 다운스트림 태스크(Downstream Task): 사전학습 이후 실제 활용 목적의 세부 과제 ↩

3. 파국적 망각(Catastrophic Forgetting): 새로운 태스크 학습 시 기존 지식이 급격히 소실되는 현상 ↩