NotebookLM

AI로 데이터 분석하기: Code Interpreter, PandasAI, 실전 활용법

## AI 데이터 분석이 바꾼 것들 예전에는 데이터 분석이 SQL + Python + pandas를 알아야 할 수 있었습니다. 2025년에는 자연어로 데이터에 질문하고 AI가 코드를 실행해 답을 줍니다. ```mermaid flowchart LR Data[CSV/DB/Excel] --> AI[AI 분석] AI --> Viz[차트 자동 생성] AI --> Insight[인사이트 추출] AI --> Report[리포트 생성] User[비개발자] --> |"이 데이터에서 매출 상위 10개 제품 보여줘"| AI ``` --- ## ChatGPT Code Interpreter (Data Analyst) 가장 쉬운 방법입니다. CSV를 업로드하고 자연어로 물어보면 됩니다. **실전 프롬프트 템플릿:** ``` # 기본 분석 "이 데이터를 분석해서 주요 특징 5가지를 알려줘" # 시각화 "월별 매출 트렌드를 한국어 레이블로 선 그래프로 그려줘" # 이상값 탐지 "outlier를 찾아서 어떤 데이터인지 설명해줘" # 예측 "지난 12개월 데이터로 다음 3개월 매출을 예측해줘" # 비교 분석 "A 그룹과 B 그룹의 통계적 유의미한 차이가 있는지 검정해줘" ``` **실제 사용 예:** ``` 사용자: 이 고객 데이터에서 이탈 위험이 높은 고객 세그먼트를 찾아줘 ChatGPT: [데이터 분석 후] 이탈 위험 세그먼트를 3개 발견했습니다: 1. 고위험 (847명): 3개월 이상 미접속, 평균 구매액 하락 30% 2. 중위험 (2,341명): 1개월 이상 미접속, 지원 티켓 2건 이상 3. 저위험 (5,129명): 접속 감소 중, 신규 기능 미사용 [K-Means 클러스터링 결과 시각화 포함] ``` --- ## PandasAI: 코드에서 자연어 쿼리 프로덕션 환경에서 데이터 분석을 자동화할 때 사용합니다: ```python from pandasai import SmartDataframe from pandasai.llm import OpenAI import pandas as pd # 데이터 로드 df = pd.read_csv("sales_data.csv") # SmartDataframe 래핑 llm = OpenAI(api_token="sk-...") smart_df = SmartDataframe(df, config={"llm": llm}) # 자연어로 쿼리 result = smart_df.chat("2024년 4분기 지역별 매출 상위 5개를 알려줘") print(result) # 시각화 요청 chart = smart_df.chat("월별 매출 트렌드를 막대 그래프로 그려줘") # → matplotlib 차트 자동 생성 및 저장 # 복잡한 분석 analysis = smart_df.chat(''' 신규 고객과 기존 고객의 평균 주문금액 차이를 분석하고, 통계적으로 유의미한지 t-검정으로 확인해줘 ''') ``` --- ## Claude 코드 실행 (Claude.ai) Claude의 Artifacts 기능으로 데이터 시각화를 만들 수 있습니다: ``` 프롬프트: "다음 데이터로 인터랙티브 대시보드를 만들어줘: 월별 매출: 1월 1.2억, 2월 0.9억, 3월 1.5억, 4월 1.8억, 5월 2.1억 카테고리별 비율: 전자제품 45%, 의류 30%, 식품 25% Recharts 사용하고 한국어 레이블로" ``` → 즉시 실행 가능한 React 컴포넌트로 차트 생성 --- ## Python 데이터 분석 + LLM 파이프라인 완전 자동화된 분석 리포트 생성: ```python import pandas as pd from anthropic import Anthropic import json client = Anthropic() def analyze_sales_data(csv_path: str) -> str: # 1. 데이터 로드 및 기본 통계 df = pd.read_csv(csv_path) stats = { "총 행수": len(df), "기간": f"{df['date'].min()} ~ {df['date'].max()}", "총 매출": f"{df['revenue'].sum():,.0f}원", "평균 매출": f"{df['revenue'].mean():,.0f}원", "월별 매출": df.groupby(df['date'].str[:7])['revenue'].sum().to_dict(), "카테고리별 매출": df.groupby('category')['revenue'].sum().to_dict(), "상위 10개 상품": df.groupby('product')['revenue'].sum().nlargest(10).to_dict(), } # 2. AI 인사이트 생성 response = client.messages.create( model="claude-sonnet-4-6-20251001", max_tokens=2000, messages=[{ "role": "user", "content": f'''다음 판매 데이터 통계를 분석해서 경영진 리포트를 작성해주세요. 데이터: {json.dumps(stats, ensure_ascii=False, indent=2)} 리포트 형식: 1. 핵심 요약 (3줄 이내) 2. 주요 발견 사항 (3-5개) 3. 개선 권고사항 (2-3개) 4. 다음 달 예측''' }] ) return response.content[0].text # 사용 report = analyze_sales_data("sales_2024.csv") print(report) ``` --- ## Vega -Altair + LLM: 자동 차트 생성 ```python import altair as alt import pandas as pd from openai import OpenAI client = OpenAI() def auto_visualize(df: pd.DataFrame, question: str) -> alt.Chart: # 데이터 구조 설명 df_info = f''' 컬럼: {list(df.columns)} 데이터 타입: {dict(df.dtypes)} 샘플 (3행): {df.head(3).to_dict()} ''' # LLM에게 Vega-Altair 차트 코드 생성 요청 response = client.chat.completions.create( model="gpt-4o", messages=[{ "role": "system", "content": "Vega-Altair Python 코드만 반환하세요. 설명 없이 실행 가능한 코드만." }, { "role": "user", "content": f"데이터: {df_info} 질문: {question}" }] ) chart_code = response.choices[0].message.content # exec로 실행 (프로덕션에서는 샌드박스 사용) local_vars = {"df": df, "alt": alt} exec(chart_code, local_vars) return local_vars.get("chart") # 사용 df = pd.read_csv("sales.csv") chart = auto_visualize(df, "월별 카테고리별 매출을 누적 막대 그래프로") chart.save("output.html") ``` --- ## 실전 활용 사례 | 상황 | 도구 | 프롬프트 예시 | |------|------|--------------| | 빠른 EDA | ChatGPT Data Analyst | "이 데이터의 이상값과 결측값을 분석해줘" | | 비개발자 분석 | PandasAI | "매출이 가장 높은 요일은?" | | 자동 리포트 | Claude API | "월말 매출 리포트를 경영진 형식으로" | | 대시보드 | v0.dev + Recharts | "이 데이터로 인터랙티브 대시보드" | --- ## 주의사항 **데이터 프라이버시:** ChatGPT나 Claude에 실제 고객 데이터를 업로드하기 전에 개인정보 처리방침을 확인하세요. 민감한 데이터는 PII(개인식별정보) 마스킹 후 사용하거나 로컬 모델(Ollama)을 사용하세요. **AI 분석 검증:** AI가 생성한 인사이트는 실제 비즈니스 맥락을 모릅니다. 항상 도메인 전문가의 검토가 필요합니다. --- ## 결론AI 데이터 분석의 현실적 가치: - **비개발자**: SQL, Python 없이 데이터에 질문 → 즉각적 인사이트 - **개발자**: 반복적인 분석 코드 자동화, 빠른 시각화 - **한계**: 복잡한 통계 모델, 도메인 지식 필요한 해석은 여전히 사람 필요 시작점: ChatGPT Plus의 Data Analyst 기능으로 CSV를 올려보세요. 2시간 걸리던 분석이 5분으로 줄어드는 경험을 할 수 있습니다.

RAG 완전 정복: 개념부터 프로덕션 배포까지 (2025)

## RAG란 무엇인가? RAG(Retrieval-Augmented Generation)는 LLM의 가장 큰 약점인 **지식 한계**를 해결하는 핵심 기법입니다. LLM은 학습 데이터 이후의 정보를 모르고, 사내 문서나 개인 데이터를 알 수 없습니다. RAG는 이 문제를 "먼저 관련 문서를 검색한 뒤, 그 내용을 컨텍스트로 제공"하는 방식으로 해결합니다. **기본 흐름:** 1. 문서를 청크(chunk)로 나눠 임베딩 벡터로 변환 2. 벡터 DB에 저장 3. 사용자 질문이 들어오면 → 질문도 임베딩 변환 4. 유사도 검색으로 관련 청크 추출 5. LLM에게 "이 문서를 참고해서 답해줘"와 함께 전달 --- ## 임베딩 모델 선택 | 모델 | 차원 | 한국어 | 비용 | 추천 | |------|------|--------|------|------| | OpenAI text-embedding-3-small | 1,536 | 보통 | $0.02/1M | 빠른 시작 | | OpenAI text-embedding-3-large | 3,072 | 좋음 | $0.13/1M | 영어 중심 | | BGE-M3 (BAAI) | 1,024 | **최고** | 무료(로컬) | **한국어 추천** | | Cohere embed-multilingual-v3 | 1,024 | 좋음 | $0.10/1M | 다국어 SaaS | 한국어 문서를 다룬다면 **BGE-M3**를 강력히 추천합니다. 로컬에서 무료로 실행 가능하고 한국어 성능이 OpenAI 대비 확연히 좋습니다. --- ## 벡터 DB 선택 | DB | 특징 | 가격 | 추천 상황 | |----|------|------|-----------| | **pgvector** | PostgreSQL 확장 | 무료(자체 호스팅) | 이미 PostgreSQL 쓰는 팀 | | Pinecone | 완전 관리형 SaaS | 무료 티어 있음 | 빠른 프로토타이핑 | | Qdrant | 오픈소스, 고성능 | 무료(자체)/클라우드 | 대용량 프로덕션 | | Weaviate | 멀티모달 지원 | 무료(자체)/클라우드 | 이미지+텍스트 혼합 | | Chroma | 로컬 개발용 | 무료 | 개발/테스트 환경 | PostgreSQL을 이미 쓰고 있다면 **pgvector**가 인프라 추가 없이 시작할 수 있어 가장 현실적입니다. --- ## 청크 전략 — 가장 많이 틀리는 부분 청크 크기는 RAG 성능에 직결됩니다. **청크 크기별 특성:** - **너무 작음(100토큰 이하)**: 컨텍스트 부족, 답변 불완전 - **최적(256~512토큰)**: 대부분 태스크에서 균형점 - **너무 큼(1024토큰 이상)**: 관련없는 내용 포함, 비용 증가 **실전 팁:** ```python # 문단 기반 분할 (단순 고정 크기보다 훨씬 효과적) from langchain.text_splitter import RecursiveCharacterTextSplitter splitter = RecursiveCharacterTextSplitter( chunk_size=512, chunk_overlap=50, # 문맥 유지를 위한 오버랩 separators=[" ", " ", "。", ".", " "] ) ``` 청크 간 **overlap을 50~100토큰** 두면 문맥이 잘리는 문제를 줄일 수 있습니다. --- ## Hybrid Search — 정확도를 높이는 핵심 순수 벡터 검색만으로는 키워드가 정확히 일치해야 하는 케이스(모델명, 버전, 고유명사)를 놓칩니다. **Hybrid Search**는 벡터 유사도 + BM25 키워드 검색을 결합합니다. ```python # 벡터 검색 결과와 BM25 결과를 RRF(Reciprocal Rank Fusion)로 결합 def hybrid_search(query, vector_results, bm25_results, alpha=0.5): # alpha: 벡터 검색 비중 (0.5 = 50:50) combined = rrf_merge(vector_results, bm25_results) return combined[:top_k] ``` pgvector + PostgreSQL의 전문검색(tsvector)을 함께 쓰면 별도 인프라 없이 hybrid search 구현이 가능합니다. --- ## 프로덕션 체크리스트RAG를 실제 서비스에 배포하기 전 확인사항: - [ ] **재랭킹(Reranking)**: Cross-encoder 모델로 검색 결과를 한 번 더 정렬 (Cohere Rerank, bge-reranker 등) - [ ] **쿼리 확장**: 사용자 질문을 LLM으로 변환해서 검색 품질 향상 - [ ] **메타데이터 필터링**: 날짜, 카테고리 등으로 검색 범위 제한 - [ ] **할루시네이션 방지**: "문서에 없는 내용은 답하지 마세요" 프롬프트 추가 - [ ] **평가 파이프라인**: RAGAS, TruLens 등으로 답변 품질 정량 측정 --- ## 결론 RAG는 LLM을 실무에 도입할 때 가장 많이 쓰이는 패턴입니다. 핵심을 정리하면: 1. **한국어라면 임베딩은 BGE-M3** 2. **PostgreSQL 이미 있으면 pgvector**부터 시작 3. **청크 크기 512토큰, overlap 50토큰**이 무난한 시작점 4. **Hybrid Search**로 키워드 검색과 결합 5. **프로덕션 전 반드시 평가 파이프라인** 구축 ai.zip 리더보드에서 실제 LLM 성능을 비교하면서 RAG에 맞는 모델을 선택하세요.