AI 프로덕트 관리 가이드: AI 기능 기획부터 출시까지 (2025)

flowchart LR
    Traditional[일반 PM<br/>입력 → 결정적 출력<br/>버그=코드 오류] --> AI_PM
    AI_PM[AI PM<br/>입력 → 확률적 출력<br/>품질=정도의 문제<br/>실패=명확하지 않음]

AI가 필요한 경우:
✓ 패턴 인식 (사기 탐지, 감정 분석)
✓ 자연어 이해 (챗봇, 문서 요약)
✓ 대규모 개인화 (추천 시스템)
✓ 비구조적 데이터 처리 (이미지, 음성)

AI가 필요 없는 경우:
✗ 규칙이 명확한 계산 로직
✗ 단순 데이터베이스 조회
✗ 결정적 워크플로우 자동화

flowchart TD
    A[데이터 필요성 파악] --> B{자체 데이터<br/>있나?}
    B -- Yes --> C[데이터 품질 감사]
    B -- No --> D[공개 데이터셋<br/>또는 수집 계획]
    C --> E{충분한 양?}
    D --> E
    E -- 500개 미만 --> F[프롬프트 엔지니어링<br/>Few-shot으로 해결]
    E -- 500~10K --> G[파인튜닝 고려]
    E -- 10K 이상 --> H[전용 모델 학습 고려]

## AI 기능 PRD: [기능명]

### 문제 정의
- 해결하려는 사용자 문제
- 기존 방법의 한계
- AI가 이 문제를 해결할 수 있는 이유

### 성공 기준 (측정 가능하게)
- 정확도 목표: 90% 이상
- 레이턴시 목표: p95 3초 이내
- 오남용 방지: 유해 콘텐츠 생성 0%

### 실패 시나리오 (AI 특화)
- 틀린 답변을 자신 있게 말할 때 (Hallucination)
- 프롬프트 인젝션 공격 시
- API 장애 시 폴백(fallback) 동작

### 평가 계획
- 테스트 데이터셋: 100개 golden set
- 평가 방법: LLM-as-Judge + 사람 검토
- 배포 전 기준치: F1 0.85 이상

### 윤리/안전
- 편향 위험: [설명]
- 개인정보 처리: [설명]
- 사용자에게 AI임을 명시하는가

# 잘못된 A/B 테스트: 같은 입력에 다른 모델을 쓰면
# 비결정적 출력 때문에 결과 해석이 어려움

# 올바른 접근:
# 1. 충분한 샘플 크기 (비결정성 평균화)
# 2. 같은 사용자에게 일관된 variant 배정
# 3. 단기 지표 (클릭, 완료율) + 장기 지표 (재방문, 만족도) 함께 측정
# 4. "좋음/나쁨" 피드백 버튼으로 사용자 직접 피드백 수집

프롬프트 변경 = 제품 변경

모든 프롬프트 변경은:
1. 버전 관리 (Git)
2. 테스트셋 통과 확인
3. A/B 테스트 또는 단계적 롤아웃
4. 롤백 계획 준비

{
  "version": "2.1.0",
  "date": "2025-03-15",
  "author": "product-team",
  "change": "응답 길이 제한 추가, 불필요한 서두 제거",
  "test_result": {"f1": 0.91, "latency_p95": "1.8s"},
  "rollout": "10% → 50% → 100%"
}