AI 모델 평가 완전 가이드: RAGAS, LangSmith, Promptfoo 실전 비교

flowchart LR
    Query[사용자 질문] --> Retriever[검색기]
    Retriever --> Contexts[검색된 문서들]
    Contexts --> LLM[LLM]
    Query --> LLM
    LLM --> Answer[최종 답변]

    Answer --> F1[Faithfulness<br/>답변이 문서에 근거하는가]
    Contexts --> F2[Context Recall<br/>관련 문서를 잘 찾았는가]
    Answer --> F3[Answer Relevancy<br/>질문에 답하는가]
    Query --> F3
    F1 --> Score[종합 점수]
    F2 --> Score
    F3 --> Score

from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_recall
from datasets import Dataset

# 테스트 데이터셋
data = {
    "question": ["RAG란 무엇인가?", "벡터 DB의 장점은?"],
    "answer": ["RAG는 검색 증강 생성입니다...", "벡터 DB는 유사도 검색이 빠릅니다..."],
    "contexts": [
        [["RAG(Retrieval-Augmented Generation)는..."]],
        [["벡터 데이터베이스는 고차원 벡터를..."]],
    ],
    "ground_truth": ["RAG는 검색과 생성을 결합한 방법입니다", "빠른 유사도 검색이 가능합니다"],
}

dataset = Dataset.from_dict(data)
result = evaluate(dataset, metrics=[faithfulness, answer_relevancy, context_recall])
print(result)
# {'faithfulness': 0.92, 'answer_relevancy': 0.87, 'context_recall': 0.85}

flowchart TD
    A[RAG 시스템 실행] --> B[RAGAS 평가]
    B --> C{점수 분석}
    C --> D[Faithfulness 낮음]
    C --> E[Context Recall 낮음]
    C --> F[Answer Relevancy 낮음]
    D --> G[프롬프트 수정<br/>출처 강조 지시 추가]
    E --> H[청크 크기 조정<br/>임베딩 모델 교체]
    F --> I[시스템 프롬프트 수정<br/>관련성 강조]
    G --> A
    H --> A
    I --> A

# promptfoo.yaml
providers:
  - openai:gpt-4o
  - anthropic:claude-sonnet-4-6
  - openai:gpt-4o-mini  # 비용 비교용

prompts:
  - file://prompts/customer_support_v1.txt
  - file://prompts/customer_support_v2.txt

tests:
  - description: "환불 요청 처리"
    vars:
      customer_message: "3일 전 구매한 상품을 환불하고 싶습니다"
    assert:
      - type: contains
        value: "환불"
      - type: llm-rubric
        value: "응답이 공감적이고 구체적인 처리 절차를 포함하는가"
      - type: latency
        threshold: 3000  # 3초 이내

  - description: "욕설 포함 메시지 처리"
    vars:
      customer_message: "씨X 이게 뭐야 진짜"
    assert:
      - type: not-contains
        value: "죄송합니다"  # 과도한 사과 금지
      - type: llm-rubric
        value: "침착하게 문제 해결에 집중하는가"

# 실행
npx promptfoo eval

# CI/CD에서 실패 기준 설정
npx promptfoo eval --fail-threshold 0.8  # 80% 미만이면 빌드 실패

┌─────────────────────────┬──────────┬──────────┬──────────┐
│ Prompt / Model          │ gpt-4o   │ claude   │ mini     │
├─────────────────────────┼──────────┼──────────┼──────────┤
│ customer_support_v1     │ 85%      │ 88%      │ 71%      │
│ customer_support_v2     │ 91%      │ 93%      │ 78%      │
├─────────────────────────┼──────────┼──────────┼──────────┤
│ 평균 레이턴시           │ 1.2s     │ 1.4s     │ 0.6s     │
│ 예상 월 비용 (10K 호출) │ $25      │ $30      │ $3       │
└─────────────────────────┴──────────┴──────────┴──────────┘

from langsmith import Client
from langsmith.evaluation import evaluate

client = Client()

# 데이터셋 생성
dataset = client.create_dataset("customer-support-qa")
client.create_examples(
    inputs=[{"question": "환불 정책이 어떻게 되나요?"}],
    outputs=[{"answer": "구매 후 7일 이내 환불 가능합니다"}],
    dataset_id=dataset.id,
)

# 평가 실행
def my_app(inputs):
    return {"output": llm.invoke(inputs["question"])}

def correctness_evaluator(run, example):
    score = llm_judge(run.outputs["output"], example.outputs["answer"])
    return {"key": "correctness", "score": score}

results = evaluate(
    my_app,
    data=dataset.name,
    evaluators=[correctness_evaluator],
    experiment_prefix="v2-prompt-test",
)

flowchart TD
    Start[평가 필요] --> Q1{RAG 시스템인가?}
    Q1 -- Yes --> RAGAS[RAGAS<br/>+ Langfuse 조합]
    Q1 -- No --> Q2{CI/CD 통합 필요?}
    Q2 -- Yes --> Promptfoo[Promptfoo<br/>+ GitHub Actions]
    Q2 -- No --> Q3{LangChain 사용 중?}
    Q3 -- Yes --> LangSmith[LangSmith]
    Q3 -- No --> Q4{예산?}
    Q4 -- 무료/오픈소스 --> Langfuse[Langfuse<br/>+ RAGAS]
    Q4 -- 유료 허용 --> LangSmith

import json
from openai import OpenAI

client = OpenAI()

TEST_CASES = [
    {"input": "환불 정책?", "expected_keywords": ["7일", "환불", "영업일"]},
    {"input": "배송 기간?", "expected_keywords": ["3~5일", "영업일", "배송"]},
]

def simple_eval(prompt_template: str) -> float:
    scores = []
    for case in TEST_CASES:
        response = client.chat.completions.create(
            model="gpt-4o-mini",
            messages=[
                {"role": "system", "content": prompt_template},
                {"role": "user", "content": case["input"]},
            ]
        ).choices[0].message.content

        # 키워드 포함 여부로 기본 점수
        hit = sum(1 for kw in case["expected_keywords"] if kw in response)
        scores.append(hit / len(case["expected_keywords"]))

    return sum(scores) / len(scores)

v1_score = simple_eval(open("prompts/v1.txt").read())
v2_score = simple_eval(open("prompts/v2.txt").read())
print(f"v1: {v1_score:.2f}, v2: {v2_score:.2f}")