Gemma 2 9B

Hugging Face 완전 가이드: AI 개발자의 GitHub (2025)

## Hugging Face가 뭐하는 곳인가? Hugging Face는 AI 모델과 데이터셋의 GitHub입니다. 2025년 현재 80만 개 이상의 모델, 15만 개 이상의 데이터셋이 공개되어 있습니다. Meta, Google, Mistral 같은 대기업도 자사 모델을 여기에 올립니다. ```mermaid flowchart LR HF[Hugging Face Hub] --> Models[모델 허브<br/>80만+ 모델] HF --> Datasets[데이터셋<br/>15만+ 데이터셋] HF --> Spaces[Spaces<br/>데모 앱 호스팅] HF --> Inference[Inference API<br/>모델 즉시 사용] Models --> Use1[로컬 실행] Models --> Use2[파인튜닝] Models --> Use3[API 호출] ``` --- ## 핵심 라이브러리 ### transformers: 모델의 모든 것 ```bash pip install transformers torch ``` ```python from transformers import pipeline # 가장 간단한 사용법: pipeline # 한국어 감성 분석 classifier = pipeline( "text-classification", model="snunlp/KR-FinBert-SC", # 한국어 금융 감성 분석 모델 device=0 # GPU 사용 (없으면 -1) ) result = classifier("삼성전자 주가가 급등했다. 긍정적인 실적 발표 덕분이다.") # [{'label': 'positive', 'score': 0.97}] # 이미지 분류 image_classifier = pipeline("image-classification", model="google/vit-base-patch16-224") # 번역 translator = pipeline("translation", model="Helsinki-NLP/opus-mt-ko-en") result = translator("안녕하세요, 저는 AI 개발자입니다.") # [{'translation_text': 'Hello, I am an AI developer.'}] ``` ### 텍스트 생성 ```python from transformers import AutoTokenizer, AutoModelForCausalLM import torch model_name = "Qwen/Qwen2.5-7B-Instruct" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype=torch.float16, device_map="auto" ) # 채팅 형식으로 생성 messages = [ {"role": "system", "content": "당신은 AI 전문가입니다."}, {"role": "user", "content": "RAG와 파인튜닝의 차이를 설명해줘"} ] text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) inputs = tokenizer(text, return_tensors="pt").to(model.device) with torch.no_grad(): outputs = model.generate(**inputs, max_new_tokens=512, temperature=0.7) response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True) print(response) ``` --- ## datasets: 데이터셋 다루기 ```python from datasets import load_dataset # 공개 데이터셋 로드 dataset = load_dataset("klue", "ynat") # KLUE 한국어 NLU 벤치마크 print(dataset) # DatasetDict({ # train: Dataset({features: ['guid', 'title', 'label', 'url'], num_rows: 45678}) # validation: Dataset({...num_rows: 9107}) # }) # 데이터 확인 print(dataset["train"][0]) # {'guid': 'ynat-v1_train_00000', 'title': '인천공항 ...', 'label': 6} # 필터링 short_texts = dataset["train"].filter(lambda x: len(x["title"]) < 20) # 커스텀 데이터셋 업로드 from datasets import Dataset my_data = {"text": ["문장1", "문장2"], "label": [0, 1]} ds = Dataset.from_dict(my_data) ds.push_to_hub("your-username/my-dataset") ``` --- ## Inference API: 코드 없이 즉시 사용 Hugging Face의 Inference API로 모델을 API처럼 사용합니다: ```python import requests API_URL = "https://api-inference.huggingface.co/models/Qwen/Qwen2.5-7B-Instruct" headers = {"Authorization": "Bearer hf_..."} def query(payload): response = requests.post(API_URL, headers=headers, json=payload) return response.json() result = query({ "inputs": "한국의 AI 산업 동향을 요약해줘", "parameters": {"max_new_tokens": 500} }) ``` **Serverless Inference 가격:** - 무료 티어: 월 30,000 토큰 - Pro ($9/월): 월 2억 토큰 - 대부분의 모델 지원 --- ## Spaces: AI 데모 즉시 배포 Spaces는 Gradio나 Streamlit 앱을 무료로 호스팅합니다: ```python # app.py (Gradio) import gradio as gr from transformers import pipeline pipe = pipeline("text-generation", model="gpt2") def generate(prompt): result = pipe(prompt, max_length=100)[0]["generated_text"] return result demo = gr.Interface( fn=generate, inputs=gr.Textbox(label="프롬프트"), outputs=gr.Textbox(label="생성된 텍스트"), title="GPT-2 텍스트 생성기" ) demo.launch() ``` ```yaml # README.md 앞에 추가 (Space 메타데이터) --- title: My AI Demo emoji: 🤖 colorFrom: blue colorTo: green sdk: gradio sdk_version: 4.0.0 app_file: app.py --- ``` `huggingface-cli` 또는 Git으로 push하면 자동 배포됩니다. --- ## 한국어 특화 모델 추천 | 태스크 | 모델 | 특징 | |--------|------|------| | 텍스트 생성 | `Qwen/Qwen2.5-7B-Instruct` | 한국어 가장 강함 | | 임베딩 | `BAAI/bge-m3` | 다국어 SOTA | | 감성 분석 | `snunlp/KR-FinBert-SC` | 금융 특화 | | NLI | `monologg/koelectra-base-v3` | KoELECTRA | | 번역 | `Helsinki-NLP/opus-mt-ko-en` | 경량 번역 | | STT | `openai/whisper-large-v3` | 한국어 최강 | --- ## 모델 허브에서 모델 찾는 법 ```python from huggingface_hub import list_models # 한국어 텍스트 분류 모델 검색 models = list_models( filter="text-classification", language="ko", sort="downloads", direction=-1, limit=10 ) for model in models: print(f"{model.id}: {model.downloads:,} downloads") ``` 또는 [huggingface.co/models](https://huggingface.co/models)에서: - Language: Korean - Task: 원하는 태스크 - Sort by: Downloads (인기순) --- ## 결론Hugging Face는 AI 개발자의 필수 도구입니다: 1. **모델 발견**: 어떤 태스크든 이미 누군가 학습시킨 모델이 있음 2. **빠른 프로토타입**: `pipeline` 5줄로 시작, 필요하면 커스터마이징 3. **한국어 생태계**: KoELECTRA, KoBERT, BGE-M3 등 한국어 특화 모델들 4. **무료 인프라**: Spaces로 무료 GPU 데모, Inference API로 즉시 사용 시작점: `transformers` 설치 후 `pipeline("task", model="...")` 한 줄로 어떤 모델이든 즉시 실행해보세요.

2025 오픈소스 LLM 완전 지형도: Llama, Mistral, Qwen, Gemma 비교

## 왜 오픈소스 LLM인가? 2023년까지 "오픈소스 LLM = 클로즈드 모델의 열등한 대안"이었습니다. 2025년에는 달라졌습니다. ```mermaid flowchart TD OS[오픈소스 LLM<br/>장점] --> Cost[비용<br/>API 비용 0원] OS --> Privacy[프라이버시<br/>데이터 외부 전송 없음] OS --> Control[제어<br/>파인튜닝, 양자화 자유] OS --> License[라이선스<br/>상업적 사용 가능] Closed[클로즈드 LLM<br/>장점] --> Quality[품질<br/>최상위 성능] Closed --> Ease[편의<br/>API 바로 사용] Closed --> Update[최신성<br/>지속 업데이트] ``` **2025년 격차**: 오픈소스 상위 모델(Llama 3.3 70B, Qwen 2.5 72B)은 GPT-4o의 80~90% 수준에 도달했습니다. --- ## 주요 오픈소스 LLM 지형도 ### Meta: Llama 시리즈 ``` Llama 3.1 (2024.07) ├── 8B — 로컬 실행 최적, 코딩 강점 ├── 70B — 오픈소스 중 가장 검증된 선택 └── 405B — 오픈소스 최강이었으나 이제 경쟁자 많음 Llama 3.2 (2024.09) ├── 1B, 3B — 모바일/엣지 특화 └── 11B, 90B Vision — 멀티모달 Llama 3.3 (2024.12) └── 70B — Llama 3.1 405B 수준 성능, 70B 크기 ``` **특징:** - Meta AI 계열사 지원으로 생태계가 가장 성숙 - HuggingFace, Ollama, vLLM 등 모든 도구에서 1순위 지원 - Llama 라이선스: 월 사용자 7억 명 이상이면 별도 협의 필요 ```python # Ollama로 Llama 3.3 70B 실행 # ollama pull llama3.3 import ollama response = ollama.chat(model="llama3.3", messages=[ {"role": "user", "content": "Python으로 퀵소트 구현해줘"} ]) print(response["message"]["content"]) ``` --- ### Mistral AI: 유럽의 강자 ``` Mistral 7B v0.1 (2023.09) — 오픈소스 LLM 혁신의 시작 Mixtral 8x7B (2023.12) — MoE로 성능 대폭 향상 Mistral Large (2024) — GPT-4 경쟁 모델 Mistral Small 3.2 (2025) — 24B, 로컬 최적화 ``` **특징:** - 유럽 규제(GDPR) 준수에 유리 - 코딩 특화 Codestral, 멀티모달 Pixtral 출시 - Apache 2.0 라이선스 (완전 자유) ```bash # Mistral Small 3.2 로컬 실행 (24GB VRAM 권장) ollama pull mistral-small3.2 ollama run mistral-small3.2 ``` --- ### Alibaba: Qwen 시리즈 한국어 성능이 가장 강한 오픈소스 모델입니다. ``` Qwen 2.5 (2024.09) ├── 0.5B ~ 72B 라인업 ├── Qwen2.5-Coder — 코딩 특화 └── Qwen2.5-Math — 수학 특화 Qwen3 (2025) ├── 0.6B ~ 235B ├── Thinking 버전 — 추론 특화 └── VL 버전 — 비전-언어 ``` **특징:** - 중국어 + 한국어 + 일본어 강세 (아시아 언어 최강) - 다양한 크기 옵션 (0.5B ~ 235B) - Apache 2.0 라이선스 ```python # Qwen2.5 14B 한국어 테스트 from transformers import AutoModelForCausalLM, AutoTokenizer import torch model = AutoModelForCausalLM.from_pretrained( "Qwen/Qwen2.5-14B-Instruct", torch_dtype=torch.bfloat16, device_map="auto" ) tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-14B-Instruct") messages = [{"role": "user", "content": "한국의 AI 규제 현황을 설명해줘"}] text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) inputs = tokenizer(text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=500) print(tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)) ``` --- ### Google: Gemma 시리즈 ``` Gemma 2 (2024.06) ├── 2B, 9B, 27B └── 27B — 오픈소스 중 영어 최강급 Gemma 3 (2025) ├── 4B, 12B, 27B └── 멀티모달(이미지 이해) 통합 ``` **특징:** - Google의 Gemini 훈련 기술을 오픈소스에 적용 - TPU 최적화 (Google Cloud에서 빠름) - Gemma 라이선스 (상업적 사용 허용) --- ### DeepSeek 계열 중국 스타트업 DeepSeek이 2024~2025년 오픈소스 생태계를 흔들었습니다: ``` DeepSeek V3 (2024.12) — 671B MoE, GPT-4o와 동등 DeepSeek R1 (2025.01) — o1 수준 추론, MIT 라이선스 R1 Distill 시리즈 — 1.5B ~ 70B 경량화 버전 ``` --- ## 크기별 추천 모델 (2025년 기준) | 파라미터 | 추천 모델 | VRAM 필요 | 용도 | |----------|-----------|-----------|------| | ~3B | Qwen3 4B (free) | 4GB | 모바일, 엣지 | | ~7B | Qwen2.5 7B, Mistral 7B | 8GB | 가벼운 태스크 | | ~14B | Qwen2.5 14B | 12GB | 균형잡힌 선택 | | ~30B | Qwen3 32B | 24GB | 고품질 로컬 | | ~70B | Llama 3.3 70B | 48GB | 최고 오픈소스 | | 70B+ | DeepSeek R1 Distill 70B | 48GB | 추론 특화 | --- ## 모델 선택 가이드 ```mermaid flowchart TD Start[오픈소스 모델 선택] --> Lang{주요 언어?} Lang -- 한국어 --> Qwen[Qwen2.5 or Qwen3] Lang -- 영어 --> Task{태스크?} Task -- 코딩 --> Code[Qwen2.5-Coder<br/>or Mistral Codestral] Task -- 추론/수학 --> Reason[DeepSeek R1 Distill<br/>or Qwen3 Thinking] Task -- 범용 --> Size{VRAM?} Size -- 8GB 이하 --> Small[Mistral 7B<br/>or Qwen2.5 7B] Size -- 24GB --> Mid[Qwen2.5 14B<br/>or Mistral Small 3.2] Size -- 48GB 이상 --> Large[Llama 3.3 70B] ``` --- ## 라이선스 비교 | 모델 | 라이선스 | 상업 사용 | 수정/배포 | |------|----------|-----------|-----------| | Llama 3 | Llama 3 Community | ✓ (7억 MAU 이하) | ✓ | | Mistral | Apache 2.0 | ✓ 무제한 | ✓ | | Qwen | Qwen License | ✓ (조건부) | ✓ | | Gemma | Gemma ToU | ✓ | ✓ | | DeepSeek R1 | MIT | ✓ 무제한 | ✓ | **가장 자유로운 라이선스**: Mistral(Apache 2.0), DeepSeek R1(MIT) --- ## 결론 2025년 오픈소스 LLM은 실용적인 선택지가 됐습니다. **추천 시작점:** 1. **한국어 서비스**: `Qwen2.5-14B` (Ollama로 로컬 실행) 2. **코딩 어시스턴트**: `Qwen2.5-Coder-32B` 3. **추론 태스크**: `DeepSeek-R1-Distill-Qwen-32B` 4. **범용 최강**: `Llama-3.3-70B` (48GB VRAM 필요) 클라우드 API 비용이 부담되거나 데이터 프라이버시가 중요한 프로젝트라면 오픈소스 LLM을 진지하게 검토할 시점입니다.