feat: Variet Engine v1.0 + 5-model tuning complete
Phase 01 (LLM Tuning): - Gemma4 26B: 74.65 t/s (fast) - Qwen 35B: 61.62 t/s (balanced) - Gemma4 31B: 16.0 t/s (deep-coder) - Qwen 27B: 16.7 t/s (deep-logic) - Qwen 122B: 8.95 t/s (ultra, GPU 1 only) Phase 02 (API Engine): - FastAPI reverse proxy on port 8000 - /engine/switch hot-swap with 503 protection - config/engine_models.json as single source of truth - Replaced 4 individual .bat files with unified engine File cleanup: - scripts/ 85 files -> 9 + _archive/ - Root .bat files -> _archive/
This commit is contained in:
120
config/engine_models.json
Normal file
120
config/engine_models.json
Normal file
@@ -0,0 +1,120 @@
|
||||
{
|
||||
"version": "1.0",
|
||||
"default_role": "fast",
|
||||
"llama_server": {
|
||||
"path": "llama_bin_run/llama-server.exe",
|
||||
"internal_port": 8080,
|
||||
"internal_host": "127.0.0.1"
|
||||
},
|
||||
"engine": {
|
||||
"external_port": 8000,
|
||||
"external_host": "0.0.0.0"
|
||||
},
|
||||
"roles": {
|
||||
"fast": {
|
||||
"display_name": "Gemma 4 26B (Fast)",
|
||||
"model_path": "models/gemma-4-26B-A4B-it-Q4_K_M.gguf",
|
||||
"measured_tps": 74.65,
|
||||
"args": [
|
||||
"-ngl", "999",
|
||||
"-c", "262144",
|
||||
"-np", "1",
|
||||
"-fa", "on",
|
||||
"--cache-type-k", "f16",
|
||||
"--cache-type-v", "f16",
|
||||
"-ub", "512",
|
||||
"-b", "2048",
|
||||
"-t", "6",
|
||||
"-tb", "6",
|
||||
"--prio", "3",
|
||||
"--mlock",
|
||||
"--poll", "50"
|
||||
]
|
||||
},
|
||||
"balanced": {
|
||||
"display_name": "Qwen 3.5 35B (Balanced)",
|
||||
"model_path": "models/Qwen3.5-35B-A3B-Q4_K_M.gguf",
|
||||
"measured_tps": 61.62,
|
||||
"args": [
|
||||
"-ngl", "999",
|
||||
"-c", "262144",
|
||||
"-np", "1",
|
||||
"-fa", "on",
|
||||
"--cache-type-k", "q4_0",
|
||||
"--cache-type-v", "q4_0",
|
||||
"-ub", "128",
|
||||
"-b", "512",
|
||||
"-t", "6",
|
||||
"-tb", "6",
|
||||
"--prio", "3",
|
||||
"--mlock",
|
||||
"--poll", "50",
|
||||
"-ts", "0.5,0.5"
|
||||
]
|
||||
},
|
||||
"deep-coder": {
|
||||
"display_name": "Gemma 4 31B (Deep Coder)",
|
||||
"model_path": "models/gemma-4-31B-it-Q4_K_M.gguf",
|
||||
"measured_tps": 16.0,
|
||||
"args": [
|
||||
"-ngl", "999",
|
||||
"-c", "196608",
|
||||
"-np", "1",
|
||||
"-fa", "on",
|
||||
"--cache-type-k", "q4_0",
|
||||
"--cache-type-v", "q4_0",
|
||||
"-ub", "128",
|
||||
"-b", "512",
|
||||
"-t", "6",
|
||||
"-tb", "6",
|
||||
"--prio", "3",
|
||||
"--mlock",
|
||||
"--poll", "50"
|
||||
]
|
||||
},
|
||||
"deep-logic": {
|
||||
"display_name": "Qwen 3.5 27B (Deep Logic)",
|
||||
"model_path": "models/Qwen3.5-27B-Q4_K_M.gguf",
|
||||
"measured_tps": 16.7,
|
||||
"args": [
|
||||
"-ngl", "999",
|
||||
"-c", "262144",
|
||||
"-np", "1",
|
||||
"-fa", "on",
|
||||
"--cache-type-k", "q4_0",
|
||||
"--cache-type-v", "q4_0",
|
||||
"-ub", "512",
|
||||
"-b", "1024",
|
||||
"-t", "6",
|
||||
"-tb", "6",
|
||||
"--prio", "3",
|
||||
"--mlock",
|
||||
"--poll", "50",
|
||||
"-ts", "0.5,0.5"
|
||||
]
|
||||
},
|
||||
"ultra": {
|
||||
"display_name": "Qwen 3.5 122B (Ultra Heavy)",
|
||||
"model_path": "models/Q4_K_M/Qwen3.5-122B-A10B-Q4_K_M-00001-of-00003.gguf",
|
||||
"measured_tps": 8.95,
|
||||
"args": [
|
||||
"-ngl", "999",
|
||||
"-ncmoe", "48",
|
||||
"-c", "262144",
|
||||
"-np", "1",
|
||||
"-fa", "on",
|
||||
"--cache-type-k", "q4_0",
|
||||
"--cache-type-v", "q4_0",
|
||||
"-ub", "512",
|
||||
"-b", "2048",
|
||||
"-t", "8",
|
||||
"-tb", "8",
|
||||
"--prio", "3",
|
||||
"--poll", "50",
|
||||
"--main-gpu", "1",
|
||||
"-sm", "none",
|
||||
"--no-mmap"
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user