c111b3a9b0
Phase 01 (LLM Tuning): - Gemma4 26B: 74.65 t/s (fast) - Qwen 35B: 61.62 t/s (balanced) - Gemma4 31B: 16.0 t/s (deep-coder) - Qwen 27B: 16.7 t/s (deep-logic) - Qwen 122B: 8.95 t/s (ultra, GPU 1 only) Phase 02 (API Engine): - FastAPI reverse proxy on port 8000 - /engine/switch hot-swap with 503 protection - config/engine_models.json as single source of truth - Replaced 4 individual .bat files with unified engine File cleanup: - scripts/ 85 files -> 9 + _archive/ - Root .bat files -> _archive/
51 lines
1.9 KiB
Markdown
51 lines
1.9 KiB
Markdown
# Phase 01: LLM Tuning — PLAN
|
|
|
|
## 목표
|
|
듀얼 RTX 3060 (24GB VRAM, 96GB DDR4) 환경에서 5가지 모델의 최적 추론 설정을 확정한다.
|
|
|
|
## 완료 태스크
|
|
|
|
### Task 1: Gemma 4 26B-A4B (Fast Tier) ✅
|
|
- 실측: **74.65 t/s** (AVG), 256K 컨텍스트
|
|
- 듀얼 GPU, 캐시 타입 f16, mlock 활성
|
|
- 전체 VRAM 적재 (16.8GB)
|
|
|
|
### Task 2: Qwen 3.5 35B-A3B (Balanced Tier) ✅
|
|
- 실측: **61.62 t/s** (AVG), 256K 컨텍스트
|
|
- 듀얼 GPU, tensor split 0.5/0.5, 캐시 q4_0
|
|
- 비대칭 스플릿 시 12+ t/s 하락 확인 → 0.5/0.5 확정
|
|
|
|
### Task 3: Gemma 4 31B Dense (Deep Coder) ✅
|
|
- 실측: **16.0 t/s** (AVG), 192K 컨텍스트 (한계)
|
|
- 듀얼 GPU, 전체 VRAM 적재
|
|
- 256K 시 OOM, 192K가 안정 최대값
|
|
|
|
### Task 4: Qwen 3.5 27B Dense (Deep Logic) ✅
|
|
- 실측: **16.7 t/s** (AVG), 256K 풀 컨텍스트
|
|
- 듀얼 GPU, tensor split 0.5/0.5
|
|
- System Prompt 누락 시 Empty Response 버그 확인
|
|
|
|
### Task 5: Qwen 3.5 122B-A10B MoE (Ultra Heavy) ✅
|
|
- 실측: **8.95 t/s** (BEST), 256K 컨텍스트
|
|
- **GPU 1 단독 사용** (-sm none --main-gpu 1)
|
|
- Expert CPU 오프로드 (n-cpu-moe=48)
|
|
- PCIe x4 병목 발견 → GPU 0 제외로 2배 속도 향상 (4.8 → 8.95 t/s)
|
|
|
|
## 핵심 발견사항 (Key Findings)
|
|
|
|
### GPU 0 PCIe x4 병목
|
|
- 메인보드: Gigabyte B550M AORUS ELITE
|
|
- GPU 0: PCIe 3.0 x4 (~4 GB/s) — 보조 슬롯
|
|
- GPU 1: PCIe 4.0 x16 (~32 GB/s) — 메인 슬롯
|
|
- MoE 모델처럼 CPU↔GPU 데이터 교환이 잦은 경우 GPU 0은 병목
|
|
- Dense 모델(VRAM 내 100% 적재)에서는 영향 미미
|
|
|
|
### 3-Tier → 5-Tier 전략 확장
|
|
- 원래 Fast/Balanced/Deep 3단계 → 5단계로 확장
|
|
- deep-coder (Gemma 4 31B)와 deep-logic (Qwen 27B) 추가
|
|
|
|
## 산출물
|
|
- `scripts/optimal_configs.py` — 실측값 레퍼런스 (deprecated → engine_models.json)
|
|
- `config/engine_models.json` — 프로덕션 설정 (Single Source of Truth)
|
|
- `scripts/_archive/results/` — 모든 벤치마크 결과 JSON
|