[local Docker wrapper]
-m
~/models/Gemma4-26B-A4B-QAT-MTP/Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-Q4_K_M.gguf
--host
[loopback]
--port
18081
--device
CUDA0
-ngl
99
-fa
on
-c
131072
--parallel
1
-t
8
--jinja
--cache-type-k
q4_0
--cache-type-v
q4_0
-md
~/models/Gemma4-26B-A4B-QAT-MTP/mtp-gemma-4-26B-A4B-it.gguf
--spec-type
draft-mtp
--spec-draft-n-max
2
--spec-draft-device
CUDA0
--load-mode
none
--fit
off
--load-mode
none
--n-cpu-moe
30
--ubatch-size
512
--reasoning
off
--alias
Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-Q4_K_M