c111b3a9b0
Phase 01 (LLM Tuning): - Gemma4 26B: 74.65 t/s (fast) - Qwen 35B: 61.62 t/s (balanced) - Gemma4 31B: 16.0 t/s (deep-coder) - Qwen 27B: 16.7 t/s (deep-logic) - Qwen 122B: 8.95 t/s (ultra, GPU 1 only) Phase 02 (API Engine): - FastAPI reverse proxy on port 8000 - /engine/switch hot-swap with 503 protection - config/engine_models.json as single source of truth - Replaced 4 individual .bat files with unified engine File cleanup: - scripts/ 85 files -> 9 + _archive/ - Root .bat files -> _archive/
57 lines
2.1 KiB
JSON
57 lines
2.1 KiB
JSON
{
|
|
"version": "2.0",
|
|
"timestamp": "2026-04-07T18:07:00+09:00",
|
|
"current_phase": "02-api-engine",
|
|
"phase_status": "complete",
|
|
"next_phase": "03-vscode-extension",
|
|
|
|
"completed": [
|
|
{
|
|
"phase": "01-llm-tuning",
|
|
"summary": "5개 모델 최적 추론 설정 확정",
|
|
"key_output": "config/engine_models.json",
|
|
"metrics": {
|
|
"fast_gemma4_26b": "74.65 t/s, 256K ctx, dual GPU",
|
|
"balanced_qwen_35b": "61.62 t/s, 256K ctx, dual GPU",
|
|
"deep_coder_gemma4_31b": "16.0 t/s, 192K ctx, dual GPU",
|
|
"deep_logic_qwen_27b": "16.7 t/s, 256K ctx, dual GPU",
|
|
"ultra_qwen_122b": "8.95 t/s, 256K ctx, GPU 1 only"
|
|
}
|
|
},
|
|
{
|
|
"phase": "02-api-engine",
|
|
"summary": "Variet Engine v1.0 — FastAPI 리버스 프록시 + 모델 핫스왑",
|
|
"key_output": "engine/variet_engine.py",
|
|
"features": [
|
|
"단일 포트(8000) OpenAI-compatible API",
|
|
"/engine/switch/{role} 핫스왑",
|
|
"교체 중 503+Retry-After 클라이언트 보호",
|
|
"llama-server 프로세스 생명주기 관리",
|
|
"config/engine_models.json 기반 설정"
|
|
],
|
|
"verified": true
|
|
}
|
|
],
|
|
|
|
"hardware_notes": {
|
|
"gpu0": "RTX 3060 12GB — PCIe 3.0 x4 (B550 chipset, ~4 GB/s)",
|
|
"gpu1": "RTX 3060 12GB — PCIe 4.0 x16 (CPU direct, ~32 GB/s)",
|
|
"constraint": "122B MoE는 GPU 1 단독 사용 필수 (-sm none --main-gpu 1)",
|
|
"ram": "96GB DDR4"
|
|
},
|
|
|
|
"project_structure": {
|
|
"config/engine_models.json": "5개 모델 CLI 설정 (Single Source of Truth)",
|
|
"engine/variet_engine.py": "FastAPI 프록시 + llama-server 관리자",
|
|
"start_variet_engine.bat": "원클릭 엔진 런처",
|
|
"scripts/optimal_configs.py": "실측 레퍼런스 (deprecated)",
|
|
"scripts/_archive/": "튜닝/벤치마크 이력 보관"
|
|
},
|
|
|
|
"next_steps": [
|
|
"Machine A에서 start_variet_engine.bat 상시 구동 설정 (작업 스케줄러 or 서비스)",
|
|
"Machine B에서 VS Code Extension 개발 시작 (에이전트 루프)",
|
|
"Machine B에서 Discord Bot 개발 시작 (개인 비서)"
|
|
]
|
|
}
|