Mixtral 8x22B Instruct

Mixtral 8x22B Instruct는 Mistral AI의 대형 MoE(Mixture of Experts) 모델로, 8x7B의 후속 모델입니다. 8개의 22B 전문가 모듈 중 입력마다 상위 2개를 활성화하는 구조로, 총 141B 파라미터이지만 추론 시 약 39B만 사용합니다. 65K 토큰 컨텍스트를 지원하며, MMLU 77.3, GSM8K 90.8으로 수학 능력이 크게 향상되었습니다.

8x7B 대비 모든 벤치마크에서 큰 폭의 성능 향상을 보여줍니다. MATH 44.6점은 8x7B의 28.4점 대비 57% 개선이며, GSM8K 90.8점은 74.4점에서 크게 도약했습니다. Arena Elo 1229로 실사용자 평가에서도 상위 수준이며, 출시 당시 오픈소스 모델 중 최고 성능으로 주목받았습니다. BBH, MUSR 등 복합 추론 벤치마크에서도 견고한 성능을 보여줍니다.

Apache 2.0 라이선스로 완전 오픈소스이며, 입력 $2.00/1M 토큰, 출력$6.00/1M 토큰으로 이용 가능합니다. 자체 서버 호스팅 시에는 2개 이상의 GPU가 필요하지만 API 비용을 절감할 수 있습니다. 8x7B에서 업그레이드를 고려하는 사용자에게 자연스러운 다음 단계입니다.

오픈소스 대형 MoE 모델이 필요한 연구, 8x7B 대비 성능 향상이 필요한 프로덕션 환경, 또는 Apache 2.0의 자유로운 라이선스가 필수인 상용 서비스에 적합합니다. 더 높은 성능이 필요하다면 Mistral Large로의 업그레이드를 권장합니다.