온프레미스 AI 구축 가이드: GPU 서버부터 프라이빗 LLM까지

flowchart TD
    Model[모델 크기] --> Calc{VRAM 계산}
    Calc --> |7B FP16| G1["14GB VRAM<br/>(RTX 3090/4090)"]
    Calc --> |13B FP16| G2["26GB VRAM<br/>(A100 40GB)"]
    Calc --> |70B FP16| G3["140GB VRAM<br/>(4x A100 80GB)"]
    Calc --> |7B Q4| G4["4-5GB VRAM<br/>(RTX 3060 12GB)"]
    Calc --> |70B Q4| G5["35-40GB VRAM<br/>(2x RTX 4090)"]

# 설치
curl -fsSL https://ollama.ai/install.sh | sh

# 모델 다운로드 및 실행
ollama pull llama3.2:3b
ollama pull qwen2.5:7b
ollama pull mistral:7b

# 대화 시작
ollama run llama3.2:3b

# REST API 서버 (기본 포트 11434)
ollama serve

# Python에서 사용
import ollama

response = ollama.chat(
    model='qwen2.5:7b',
    messages=[{'role': 'user', 'content': '한국어로 인사해줘'}]
)
print(response['message']['content'])

# vLLM 설치 (CUDA 12.1 필요)
pip install vllm

# OpenAI 호환 API 서버 실행
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3.1-8B-Instruct \
    --dtype auto \
    --api-key your-secret-key \
    --port 8000 \
    --max-model-len 8192

# GPU 여러 개 사용 (tensor parallelism)
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3.1-70B-Instruct \
    --tensor-parallel-size 4 \
    --port 8000

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="your-secret-key"
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[
        {"role": "system", "content": "한국어로 답변하는 AI 어시스턴트입니다."},
        {"role": "user", "content": "RAG 시스템 구축 방법을 알려줘"}
    ],
    temperature=0.7,
    max_tokens=1000,
)
print(response.choices[0].message.content)

# docker-compose.yml
version: '3.8'
services:
  vllm:
    image: vllm/vllm-openai:latest
    runtime: nvidia
    environment:
      - NVIDIA_VISIBLE_DEVICES=all
    volumes:
      - ~/.cache/huggingface:/root/.cache/huggingface
    ports:
      - "8000:8000"
    command: >
      --model Qwen/Qwen2.5-7B-Instruct
      --dtype auto
      --api-key secret-key
      --max-model-len 4096
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

docker compose up -d

클라우드 API:
- GPT-4o: 입력 $2.50/M + 출력 $10/M = 약 ₩1.8만/100만 토큰
- Claude Sonnet: 입력 $3/M + 출력 $15/M = 약 ₩2.5만/100만 토큰

온프레미스 (RTX 4090, 월 리스 기준):
- 서버 월 리스: 약 ₩30만
- 전기 요금 (350W × 720h): 약 ₩3만
- 총 월 고정비: ₩33만
- 100만 토큰/일 = 3,000만 토큰/월에서 손익분기점