Hyperparameter Optimization (HPO)

쉽게 이해하기

HPO는 AI 학습의 "레시피 설정값"을 자동으로 찾아주는 기술입니다. 학습률, 배치 크기, 레이어 수, 드롭아웃 비율 같은 하이퍼파라미터는 사람이 직접 정해야 했습니다. 요리 비유: 오븐 온도·시간·재료 비율을 수천 번 시도해 가장 맛있는 레시피를 자동 발견하는 것과 같습니다. Optuna, Ray Tune이 대표 라이브러리입니다.

기술 심층 분석

• 탐색 방법:

  • 그리드 서치: 모든 조합 완전탐색. $N^k$ 복잡도로 파라미터 수 증가 시 폭발
  • 랜덤 서치: 랜덤 샘플링. Bergstra & Bengio(2012)가 그리드보다 효율적임을 증명
  • 베이지안 최적화 (BO): $\hat{f}(\lambda) \sim \mathcal{GP}(\mu(\lambda), k(\lambda, \lambda'))$ 획득 함수(EI/UCB)로 다음 탐색점 결정: $\text{EI}(\lambda) = \mathbb{E}[\max(f(\lambda) - f^*, 0)]$
  • Hyperband / ASHA: 성능 낮은 설정 조기 종료(Early Stopping)로 자원 효율화. 예산 $B$를 $s_\text{max}+1$개 브래킷으로 분배
  • Population Based Training (PBT): 학습 도중 하이퍼파라미터 동적 교체

• 탐색 공간 타입: 연속(learning rate), 이산(batch size), 범주형(optimizer 종류), 조건부(레이어별 설정)

• Multi-fidelity: 작은 데이터셋/에폭으로 빠른 평가 후 유망한 것만 전체 학습

• NAS와의 결합: 아키텍처(NAS) + 하이퍼파라미터(HPO) 동시 최적화 = Joint NAS+HPO

Footnotes