핵심 차이 한눈에 보기
| 항목 | Fine-tuning | RAG |
|---|---|---|
| 지식 저장 방식 | 모델 가중치에 학습 | 외부 DB에 저장 |
| 업데이트 방법 | 재학습 필요 | DB만 수정 |
| 구축 비용 | 높음 (GPU 필요) | 낮음 |
| 운영 비용 | 낮음 (소형 모델 가능) | 중간 (검색 + LLM) |
| 특화 스타일/톤 | ★★★★★ | ★★☆☆☆ |
| 최신 정보 반영 | ★★☆☆☆ | ★★★★★ |
| 출처 추적 | 불가능 | 가능 |
| 할루시네이션 | 많음 | 적음 |
Fine
-tuning이 정답인 경우
1. 특정 스타일/톤/형식이 핵심일 때
고객 서비스 챗봇이 항상 특정 브랜드 톤으로 답해야 한다면, RAG로는 프롬프트 엔지니어링만으로 한계가 있습니다. Fine-tuning은 이 "캐릭터"를 모델에 학습시킵니다.
2. 도메인 전문 용어가 많을 때
의료, 법률, 금융 분야에서 특수 약어나 용어를 기본 LLM이 잘못 해석한다면, Fine-tuning으로 도메인 언어를 학습시키면 효과적입니다.
3. 짧고 반응 빠른 서비스가 필요할 때
Fine-tuned 소형 모델(7B~13B)은 GPT-4o보다 응답이 빠르고 비용도 저렴합니다. RAG는 검색 단계가 추가되어 지연이 생깁니다.
실제 사례:
- 코드 스타일 가이드 준수하는 코딩 어시스턴트
- 특정 상담 스크립트를 따르는 고객 서비스 봇
- 사내 약어와 프로세스를 이해하는 내부 도구
RAG가 정답인 경우
1. 정보가 자주 바뀔 때
뉴스, 제품 재고, 가격 정보처럼 실시간 업데이트가 필요한 경우 Fine-tuning은 매번 재학습이 필요해 비현실적입니다. RAG는 DB만 업데이트하면 됩니다.
2. 출처 추적이 필요할 때
"이 정보가 어디서 나왔냐"를 보여줘야 하는 법률, 의료, 금융 서비스에서 RAG는 검색된 문서를 출처로 제시할 수 있습니다.
3. 대용량 지식 베이스를 다룰 때
수만 개의 사내 문서, 제품 매뉴얼, FAQ를 모두 Fine-tuning으로 학습시키는 건 데이터 준비부터 비용까지 비현실적입니다. RAG는 벡터 DB에 넣기만 하면 됩니다.
4. 빠른 도입이 필요할 때
RAG는 며칠 안에 프로토타입을 만들 수 있습니다. Fine-tuning은 데이터 준비 → 학습 → 평가 → 배포까지 몇 주가 걸립니다.
Fine
-tuning 실전 가이드
데이터 요구량
- 최소: 수백 개 예시 (품질이 양보다 중요)
- 권장: 1,000~10,000개 고품질 예시
- 형식: JSONL (
{"messages": [{"role": "user", ...}, {"role": "assistant", ...}]})
비용 예시 (OpenAI GPT-4o mini fine-tuning 기준)
- 학습 데이터 1,000개, 3 epoch → 약 $3~10
- 추론: 기본 모델 대비 약 1.5배 비용
주의사항
- Fine-tuning은 행동 패턴을 학습하는 것이지 지식을 주입하는 게 아닙니다
- 잘못된 데이터가 들어가면 오히려 성능이 나빠짐 (Garbage In, Garbage Out)
- GPT-4o로 학습 데이터를 먼저 생성한 뒤, 검증 후 Fine-tuning하는 방식 권장
현실적인 결론: 대부분은 RAG부터 시작
실무에서 보면, Fine-tuning이 꼭 필요한 경우는 생각보다 적습니다. 일단 RAG로 시작해서 한계가 명확해지면 Fine-tuning을 고려하는 게 현명합니다.
의사결정 트리:
- 지식이 자주 바뀌는가? → RAG
- 출처를 보여줘야 하는가? → RAG
- 빠른 도입이 필요한가? → RAG
- 특정 스타일/톤이 핵심인가? → Fine-tuning 고려
- 지연시간이 매우 중요한가? → Fine-tuning 고려
- 비용을 극도로 줄여야 하는가? → Fine-tuning + 소형 모델
대부분의 기업용 AI 프로젝트는 RAG + 좋은 프롬프트 엔지니어링으로 80~90%의 요구사항을 충족할 수 있습니다.
