Few-shot Prompting (퓨샷 프롬프팅)

쉽게 이해하기

Few-shot Prompting은 AI에게 "이런 질문엔 이렇게 답하면 돼"라는 예시를 2~5개 보여주고 같은 패턴으로 답하게 하는 방법입니다. 신입 직원에게 "이 보고서처럼 작성해줘"라며 샘플을 건네는 것과 같습니다. 별도 학습이나 파인튜닝 없이 프롬프트만으로 AI 행동을 빠르게 조정할 수 있어 실무에서 가장 널리 쓰이는 기법 중 하나입니다.

기술 심층 분석

• In-Context Learning (ICL)의 핵심 메커니즘: 모델 가중치를 변경하지 않고 forward pass 중에 데모 예시로부터 학습 $P(y|x, D) = P(y|x, \{(x_1,y_1), \ldots, (x_k,y_k)\})$ $D$: 데모 예시 셋, $(x_i, y_i)$: 입력-출력 쌍

• 샷 수에 따른 분류:

  • Zero-shot: 예시 0개 (지시만 제공)
  • One-shot: 예시 1개
  • Few-shot: 예시 2~8개 (GPT-3 논문에서 정의)
  • Many-shot: 수십~수백 개 (긴 컨텍스트 모델에서 가능)

• 예시 선택 전략:

  • 랜덤 샘플링: 단순하지만 분산이 큼
  • 유사도 기반: 테스트 입력과 임베딩 유사도가 높은 예시를 kNN으로 검색
  • 다양성 기반: MMR(Maximal Marginal Relevance) 알고리즘으로 커버리지 최대화

• 순서 효과(Recency Bias): 컨텍스트 후반부에 위치한 예시에 더 의존하는 경향. 중요한 예시일수록 끝에 배치하는 것이 유리

• 레이블 분포 편향: 예시의 클래스 분포가 치우치면 모델 예측도 편향됨. 클래스 균형 유지 필요

• Retrieval-Augmented Few-shot: 쿼리마다 벡터 DB에서 관련 예시를 동적으로 검색하여 삽입. RAG와 결합 시 시너지 효과

• 한계:

  • 컨텍스트 길이 제한으로 사용 가능한 예시 수에 한계 존재
  • 예시가 길수록 토큰 비용이 급증하여 운영 비용 상승

Footnotes