c111b3a9b0
Phase 01 (LLM Tuning): - Gemma4 26B: 74.65 t/s (fast) - Qwen 35B: 61.62 t/s (balanced) - Gemma4 31B: 16.0 t/s (deep-coder) - Qwen 27B: 16.7 t/s (deep-logic) - Qwen 122B: 8.95 t/s (ultra, GPU 1 only) Phase 02 (API Engine): - FastAPI reverse proxy on port 8000 - /engine/switch hot-swap with 503 protection - config/engine_models.json as single source of truth - Replaced 4 individual .bat files with unified engine File cleanup: - scripts/ 85 files -> 9 + _archive/ - Root .bat files -> _archive/
1.5 KiB
1.5 KiB
Phase 02: API Engine — Verification Report
테스트 결과 (2026-04-07)
Test 1: 부팅 및 /engine/status ✅
{
"state": "ready",
"role": "fast",
"display_name": "Gemma 4 26B (Fast)",
"measured_tps": 74.65,
"context_size": "262144",
"uptime_seconds": 40.5
}
- 기본 모델(fast) 자동 로드: 14.5초
Test 2: /engine/models ✅
- 5개 Role 전부 조회 가능
- 각 모델의 display_name, measured_tps, context_size 표시
Test 3: /v1/chat/completions 프록시 ✅
- llama-server(:8080)로 투명 중계 정상
- 스트리밍 응답 포함
Test 4: 핫스왑 fast → balanced ✅
{
"status": "switching",
"from_role": "fast",
"to_role": "balanced",
"to_model": "Qwen 3.5 35B (Balanced)",
"eta_seconds": 30
}
- 교체 소요: 20초
- 교체 후 Qwen 35B 정상 응답 확인
Test 5: 교체 중 503 보호 ✅
- Status: 503 Service Unavailable
- Retry-After: 30
- 클라이언트가 재시도 가능한 에러 구조
Test 6: 교체 후 새 모델 작동 ✅
- Current model: Qwen 3.5 35B (Balanced)
- Speed: 19.7 t/s (첫 요청, 워밍업 미완료)
UAT 기준 달성 여부
- 단일 포트(8000)에서 모든 API 제공 → ✅
- /v1/* 요청이 llama-server로 투명 중계 → ✅
- 핫스왑 API로 모델 교체 가능 → ✅
- 교체 중 503 + Retry-After 반환 → ✅
- 5개 모델 설정 JSON 관리 → ✅
- 원클릭 부팅 .bat → ✅
Phase Status: ✅ COMPLETE
완료 일시: 2026-04-07