AI 음성 기술 비교: Whisper vs ElevenLabs vs Clova Speech (2025)

flowchart LR
    Audio[음성 입력] --> W[Whisper<br/>OpenAI 오픈소스]
    Audio --> GA[Google<br/>Speech-to-Text]
    Audio --> CL[Clova Speech<br/>Naver]
    Audio --> AWS[AWS Transcribe]

    W --> |한국어 WER| W_Score[8.3%]
    GA --> |한국어 WER| GA_Score[6.1%]
    CL --> |한국어 WER| CL_Score[4.2%]

import whisper

model = whisper.load_model("large-v3")  # large-v3가 가장 정확

# 파일 전사
result = model.transcribe("meeting.mp3", language="ko")
print(result["text"])

# 타임스탬프 포함
result = model.transcribe("meeting.mp3", language="ko", word_timestamps=True)
for segment in result["segments"]:
    print(f"[{segment['start']:.1f}s ~ {segment['end']:.1f}s] {segment['text']}")

from faster_whisper import WhisperModel

# CTranslate2 백엔드로 훨씬 빠름
model = WhisperModel("large-v3", device="cuda", compute_type="float16")

segments, info = model.transcribe("meeting.mp3", language="ko")
for segment in segments:
    print(f"[{segment.start:.1f}s] {segment.text}")

from elevenlabs import generate, play, save
from elevenlabs.client import ElevenLabs

client = ElevenLabs(api_key="...")

# 한국어 텍스트 → 음성
audio = client.generate(
    text="안녕하세요. 저는 AI 음성 합성 시스템입니다.",
    voice="Rachel",  # 한국어를 잘 처리하는 영어 목소리
    model="eleven_multilingual_v2",  # 다국어 모델
)
save(audio, "output.mp3")

# 커스텀 목소리 복제
voice = client.clone(
    name="my_voice",
    files=["sample1.mp3", "sample2.mp3"],  # 최소 1분 이상
    description="내 목소리 클론"
)

from openai import OpenAI
from pathlib import Path

client = OpenAI()

response = client.audio.speech.create(
    model="tts-1-hd",  # 고품질
    voice="nova",      # alloy, echo, fable, onyx, nova, shimmer
    input="2025년 AI 트렌드를 분석합니다.",
)

Path("speech.mp3").write_bytes(response.content)

import requests

# Clova Speech API
url = "https://clovaspeech-gw.ncloud.com/recog/v1/stt"
headers = {
    "X-CLOVASPEECH-API-KEY": "...",
    "Content-Type": "application/octet-stream",
}

with open("meeting.mp3", "rb") as f:
    response = requests.post(
        url,
        headers=headers,
        data=f,
        params={"lang": "Kor", "completion": "sync"}
    )

print(response.json()["text"])

import whisper
from openai import OpenAI

def generate_meeting_minutes(audio_path: str) -> str:
    # 1. STT: 음성 → 텍스트
    whisper_model = whisper.load_model("large-v3")
    result = whisper_model.transcribe(audio_path, language="ko")
    transcript = result["text"]

    # 2. LLM: 텍스트 → 회의록
    client = OpenAI()
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{
            "role": "system",
            "content": "당신은 회의록 작성 전문가입니다. 회의 내용을 구조화된 회의록으로 정리하세요."
        }, {
            "role": "user",
            "content": f"다음 회의 내용으로 회의록을 작성하세요:

{transcript}"
        }]
    )

    return response.choices[0].message.content

# 사용
minutes = generate_meeting_minutes("weekly_meeting.mp3")
print(minutes)

// 브라우저에서 실시간 음성 인식
const socket = new WebSocket('wss://api.deepgram.com/v1/listen', [
  'token', process.env.DEEPGRAM_API_KEY!
])

navigator.mediaDevices.getUserMedia({ audio: true }).then(stream => {
  const recorder = new MediaRecorder(stream, { mimeType: 'audio/webm' })

  recorder.ondataavailable = (event) => {
    if (socket.readyState === WebSocket.OPEN) {
      socket.send(event.data)
    }
  }

  socket.onmessage = (message) => {
    const data = JSON.parse(message.data)
    const transcript = data.channel?.alternatives[0]?.transcript
    if (transcript) console.log('실시간:', transcript)
  }

  recorder.start(250) // 250ms마다 데이터 전송
})