LLM 파인튜닝 실전 가이드: QLoRA로 나만의 모델 만들기 (2025)

flowchart TD
    Start[커스텀 AI 필요] --> Q1{프롬프트만으로<br/>해결 가능?}
    Q1 -- Yes --> Prompt[System Prompt + Few-shot<br/>충분함]
    Q1 -- No --> Q2{지식을 추가해야 하나?}
    Q2 -- Yes --> RAG[RAG 구축<br/>파인튜닝보다 쉬움]
    Q2 -- No --> Q3{특정 스타일/형식<br/>일관성이 필요?}
    Q3 -- Yes --> FT[파인튜닝 고려]
    Q3 -- No --> Q4{응답 속도/비용<br/>극단적 최적화?}
    Q4 -- Yes --> FT
    Q4 -- No --> Prompt

원본 가중치 W (고정)
+ 델타 = A × B  (A: r×d, B: d×r, r << d)
────────────────
실제 사용 가중치 = W + A × B

pip install transformers datasets peft trl accelerate bitsandbytes

# 데이터 형식 (Alpaca 스타일)
training_data = [
    {
        "instruction": "다음 고객 리뷰의 감정을 분석하세요",
        "input": "배송이 3일이나 걸렸어요. 제품은 괜찮은데 배송이 너무 느려요.",
        "output": "감정: 혼합 (부정적 배송 경험 + 긍정적 제품 평가)
주요 불만: 배송 속도
만족 요인: 제품 품질"
    },
    # 최소 수백~수천 개 필요
]

# HuggingFace Dataset 형식으로 변환
from datasets import Dataset

def format_prompt(example):
    return {
        "text": f"#

## 지시:
{example['instruction']}

### 입력:
{example['input']}

### 응답:
{example['output']}"
    }

dataset = Dataset.from_list(training_data).map(format_prompt)

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, TaskType
from trl import SFTTrainer, SFTConfig
import torch

# 4비트 양자화 설정
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=True,
)

# 모델 로드
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B-Instruct",
    quantization_config=bnb_config,
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.1-8B-Instruct")

# LoRA 설정
lora_config = LoraConfig(
    r=16,                    # 랭크 (작을수록 파라미터 적음, 16~64 권장)
    lora_alpha=32,           # 스케일링 파라미터 (r의 2배 권장)
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type=TaskType.CAUSAL_LM,
)

model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# trainable params: 6,815,744 || all params: 8,037,986,304 || trainable%: 0.085

# 학습
trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    args=SFTConfig(
        output_dir="./output",
        num_train_epochs=3,
        per_device_train_batch_size=4,
        gradient_accumulation_steps=4,
        warmup_steps=100,
        learning_rate=2e-4,
        fp16=True,
        logging_steps=10,
        save_steps=500,
    ),
    dataset_text_field="text",
    max_seq_length=2048,
)

trainer.train()
trainer.save_model("./my-finetuned-model")

from openai import OpenAI

client = OpenAI()

# 1. 데이터 업로드
with open("training_data.jsonl", "rb") as f:
    file = client.files.create(file=f, purpose="fine-tune")

# 2. 파인튜닝 시작
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-4o-mini",  # 가장 저렴한 옵션
    hyperparameters={"n_epochs": 3}
)

# 3. 완료 후 사용
response = client.chat.completions.create(
    model=job.fine_tuned_model,  # ft:gpt-4o-mini:org:custom:id
    messages=[{"role": "user", "content": "..."}]
)

{"messages": [{"role": "system", "content": "당신은 고객서비스 직원입니다"}, {"role": "user", "content": "환불 요청합니다"}, {"role": "assistant", "content": "안녕하세요! 불편을 드려 죄송합니다..."}]}