Community Local LLM Benchmark Database
実機で測ったローカル LLM の性能を、GPU・モデル・構成ごとに共有するコミュニティベンチマーク。
レポートは GitHub の report/ に Markdown で置かれ、このサイトはそこから自動生成されます。
GPU・モデル・作成者・マシン名で絞り込めます。条件（モデル / コンテキスト長 / GPU 枚数 / split mode）が レポートごとに違うため、横断した順位付けはしていません。数値は Performance Explorer で条件ごとに並べています。
46 reports
HPE ProLiant DL380 Gen10 + Tesla T4 × 4（15 GB / 枚、70 W 上限）で、PrismML の Ternary Bonsai 2 27B（Qwen3.8-27B を三値 {-1, 0, +1} に量子化した 27.36B モデル、Apache 2.0）をネイティブ上限の 262,144 トークンまで計測しました。推論には専用フォーク PrismML-Eng/llama.cpp（prism-b10787-73bfe6c）を SM75 向けに自前ビルドして使っています。
HPE ProLiant DL380 Gen10 + Tesla T4 × 4（15 GB / 枚）で、migtissera/Tess-4.5-27B-GGUF の Q8_0（28.6 GB）と MTP ドラフトヘッド Q8_0（3.2 GB）を tensor 分割（TP=4）・KV q8_0 で、ネイティブ上限の 262,144 トークン（256k）まで計測しました。
HPE ProLiant DL380 Gen10 + Tesla T4 × 4（15 GB / 枚）で、JonathanColetti/Qwen3.8-27B-Uncensored-GGUF の Q5_K_M（19.5 GB）を tensor 分割・KV q8_0・純正 MTP（n-max 2）で 32k / 256k / 512k まで計測しました。ネイティブの 262,144 を超える範囲は YaRN factor 2.0 で拡張しています。
HPE ProLiant DL380 Gen10 + Tesla T4 × 4（15 GB / 枚）で、Ornith 1.5 35B A3B（Q4_K_M）の投機的デコード用 MTP ヘッドを比較しました。標準の純正ヘッドと、コミュニティ製の外部ドラフト EryriLabs/Ornith-1.5-35B-A3B-BigBang-MTP-GGUF の mtpdraft-Q8_0.gguf を -md で読み込ませた構成を、同一モデル・同一ビルド（llama.cpp build 11709）・同一条件で測っています。
HPE ProLiant DL380 Gen10 に Tesla T4 × 4（15 GB / 枚）を載せた構成で、Qwen3.8-Flash-Next（177B、アーキテクチャ qwen4exp、48 ブロック、エキスパート 512 / 使用 10）の AD-3.84bpw-IQ4_XS-M64（AtomicChat、28 シャード計 79.1 GiB）を、CUDA0〜CUDA3 の layer 分割で 32k コンテキストまで計測しました。 79.1 GiB は 4×T4 の VRAM 60 GiB に収まらないため、--n-cpu-moe 4 で 4 層分のエキスパートを CPU に置いています。この条件で depth 0 の decode 13.44 t/s、prefill（pp2048）182.5 t/s、32k で decode 10.03 t/s / prefill 150.7 t/s でした。GPU の使用量は合計約 42 GiB で、モデルカードにある 39 GB の n-gram ルックアップテーブルは GPU に載らずホスト側に残っているとみられます。
HPE ProLiant DL380 Gen10 に Tesla T4 × 4（15 GB / 枚）を載せた構成で、NVIDIA Nemotron 3.5 Super VL 120B-A12B（総 120B / アクティブ 12B、アーキテクチャ nemotron_h_moe、89 ブロック、エキスパート 512 / 使用 22）の Unsloth UD-IQ2_XXS（47.6 GiB）と UD-IQ2_M（52.0 GiB）を、CUDA0〜CUDA3 の layer 分割で 64k コンテキストまで計測しました。テキスト入力のみ（mmproj は読み込んでいません）で、この GGUF に MTP ヘッドがないため投機的デコードは使っていません。 64k で IQ2_XXS は prefill 440.0 t/s / decode 9.33 t/s、IQ2_M は prefill 279.5 t/s / decode 9.46 t/s でした。decode は両量子化でほぼ同等、prefill は IQ2_XXS が 1.5〜1.6 倍速い結果です。 VRAM は IQ2_XXS が最大 13.5 GiB / 枚、IQ2_M が最大 14.5 GiB / 枚で、T4 1 枚 15 GiB（15,360 MiB）では IQ2_M の 64k がほぼ上限です。
MacBook Pro 18,4(Apple M1 Max、32 コア GPU、ユニファイドメモリ 64 GB)の内蔵 GPU 1 基(Metal)で、Qwen3.8-27B-UD-Q4_K_M を 64k コンテキストまで計測し、モデル内蔵 MTP による投機的デコードの有無を比較しました。 decode は深さ 11 で 7.45 → 7.99 t/s、深さ約 48k で 4.23 → 5.84 t/s となり、深いほど MTP の効果が大きくなります(64k で +36%)。 一方 prefill は MTP ありのほうがわずかに遅く、新規入力 2,048 トークンでは 94.36 → 85.75 t/s でした。 この構成はメモリ帯域律速で、実測 decode 7.45 t/s は実効約 123 GB/s に相当します(M1 Max の公称帯域 400 GB/s の 3 割)。サーマルスロットリングやメモリ不足ではありません。
1U サーバ Supermicro SYS-1019GP-TT に載せた Tesla V100-PCIE-32GB × 1 で、Qwen3.8-27B UD-Q4_K_M(MTP 投機的デコードあり)を --profile で 262k コンテキストまで計測しました。 decode は深さ 0 で 57.25 t/s、深さ約 260k で 20.49 t/s でした。新規プロンプトの prefill は約 720 t/s です。 最初の計測では、BMC のファン制御が GPU の温度に追従せず、GPU がサーマルスロットリングを起こしました。BMC のファンモードを Full にして取り直した値を載せています。
Tesla V100-SXM2-16GB 2枚（NVLink、各300 W）で、Qwen3.8-27B UD-Q4_K_MのLayer/Tensor分割と内蔵MTP/DFlash2を262kコンテキストまで比較した。ドラフターの先読みtoken数nは標準3設問でn=1〜7を掃引し、結果が最も良かったMTPはn=2、DFlash2はn=3を両分割方式で採用した。 全深度でTensorがLayerより速く、最深段のdecodeはMTPが22.0 → 38.5 tok/s、DFlash2が30.5 → 49.4 tok/sだった。DFlash2のTensor分割はベンチマーク取得時点でllama.cppがサポートしていなかったため、添付の独自パッチを使用した。
V100-SXM2-16GB 2基（ベースボード1枚）をNVLinkで接続し、Qwen3.8-27B Q4_K_Mのlayer / tensor分割を64kコンテキストまで比較しました。 全結果は、各V100の電力上限を150Wに設定した条件です（2基とも150W）。 測定中の両GPUのpower.limitとenforced.power.limitは全保存標本で150Wを維持しました。 生成はtensorがlayerより30.5〜37.3%、入力処理も31.2〜37.6%速い結果でした。最深段は実入力64,226トークン＋1,000生成を両モードで完了しました。
BIOSTAR TB250-BTC PRO（マイニングボード、Celeron G3930 / 32 GiB）に差した 5 枚の GPU + iGPU のうち、実際に計測できた全構成を個別・分割で比較しました。
NVLink なしの V100-PCIE-32GB と PG500-216（各 32 GB）の 2 枚（GPU 間の P2P は使わない）で Qwen3.8 Flash Next（GGUF 80 GiB）を動かし、192k と 256k のコンテキストで prefill / decode を測りました。電力制限は 250 W です。 全層を GPU に置いた layer 分割で pipeline 並列を使い、prefill は depth 32k〜190k で 1,070〜1,151 t/s、256k の構成では depth 250k でも 1,040 t/s でした。192k と 256k の速さはほぼ同じです。 decode（合成テキスト・MTP あり）は 115〜122 t/s、実プロンプト（temp 0.7）では 76〜93 t/s でした。値はどれも各 context 3 回の平均です。 使っている llama.cpp には自作の変更（未公開）を加えています。
RTX 3090 × 4 で、Windowsでの同一モデル・同一深度ラダーの測定をUbuntu上で実施しました。 GPUコアクロックは両モードで1395 MHz固定設定、電力上限は250 W／枚、MTPは最大2です。UbuntuではNCCLを有効にしたtensor分割が全深度でdecodeを上回り、最深259,601トークンでlayerより約63%速くなりました。prefillは全深度でlayerが速い結果です。
HPE ProLiant DL380 Gen10 に Tesla T4 × 4（15 GB / 枚）を載せた構成で、Nemotron 3 Nano Omni（Ollama の nemotron3:33b 相当、Unsloth UD-Q4_K_M、総 33.0B / アクティブ 3B の MoE、アーキテクチャは nemotron_h_moe）を CUDA0〜CUDA3 の層分割で 128k コンテキストまで計測しました。テキスト入力のみ（mmproj なし）で、このモデルは MTP ヘッドを持たないため投機的デコードは使っていません。 llama.cpp build 11195 は nemotron_h_moe の --split-mode tensor に未対応のため、layer と tensor の比較はできず、単一構成のプロファイル計測（--profile）です。 128k で prefill 1538.8 t/s、decode 16.51 t/s でした。投機的デコード無しのため実プロンプト補正係数は 1.023 とほぼ 1 で（実プロンプト 3 本の平均 40.94 t/s 対 合成テキストの depth 0 で 40.01 t/s）、このモデルでは合成ラダーの数値がそのまま実運用の目安になります。
HPE ProLiant DL380 Gen10 に Tesla T4 × 4（15 GB / 枚）を載せた構成で、Nemotron 3.5 Lightning（Unsloth UD-Q4_K_M、総 32.9B / アクティブ 3B の MoE、アーキテクチャは nemotron_h_moe）を CUDA0〜CUDA3 の層分割で 262k コンテキストまで計測しました。投機的デコードはモデル内蔵の MTP（nextn 1 層）を使っています。 llama.cpp build 11195 は nemotron_h_moe の --split-mode tensor に未対応（LLAMA_SPLIT_MODE_TENSOR not implemented for architecture 'nemotron_h_moe'）のため、layer と tensor の比較はできませんでした。単一構成のプロファイル計測（--profile）です。 258k で prefill 249.5 t/s、decode 38.54 t/s、実プロンプト 3 本で補正した実運用推定は約 33.4 t/s でした。T4 4 枚でも 262k で 30 t/s 以上出ており、長コンテキストのエージェント用途に向く速度です。
HPE ProLiant DL380 Gen10 に Tesla T4 × 4（15 GB / 枚）を載せた構成で、Ornith 1.5 35B A3B（Q4_K_M、総 36.0B / アクティブ 3B の MoE）の --split-mode layer と tensor（TP=4）を 262k コンテキストまで比較しました。投機的デコードはモデル内蔵の MTP（nextn）層を使っています。 decode は tensor が全深度で約 2 倍速く、258k で layer 16.20 t/s に対して tensor 32.24 t/s でした。prefill は 32k 以上で layer が逆に速く、258k では layer 386.6 t/s / tensor 314.1 t/s（layer が 23% 速い）でした。 なお、このモデルの MTP ヘッドは合成テキストでも採択率 0.44〜0.53 と低く、投機的デコードの上乗せは限定的です（実プロンプトでは 0.14〜0.33、補正係数 0.741）。
HPE ProLiant DL380 Gen10 に Tesla T4 × 4（15 GB / 枚）を載せた構成で、Gemma 4 26B A4B（QAT、Unsloth UD-Q4_K_XL、総パラメータ 25.8B / アクティブ 4B の MoE）の --split-mode layer と tensor（TP=4）を 262k コンテキストまで比較しました。投機的デコードは同リポジトリの MTP ヘッドを使っています。 decode は tensor が全深度で勝ち、258k では layer 9.96 t/s に対して tensor 35.55 t/s（約 3.6 倍）でした。一方 prefill は 8k 以上のプロンプトでは layer が逆に 8〜11% 速く、A4B（アクティブ 4B）の MoE では tensor 分割の通信コストが prefill では割に合わないことが分かりました。 モデルは T4 1 枚（15 GB）に収まらないため、単一 GPU は計測していません。
HPE ProLiant DL380 Gen10 に Tesla T4 × 4（15 GB / 枚）を載せた構成で、Gemma 4 31B（QAT、Unsloth UD-Q4_K_XL、31.3B パラメータの dense モデル）の --split-mode layer と tensor（TP=4）を 262k コンテキストまで比較しました。投機的デコードは同リポジトリの MTP ヘッドを使っています。 tensor は全深度で prefill / decode とも上回り、258k では decode が layer 4.03 t/s に対して tensor 20.41 t/s（約 5.1 倍）、prefill は layer 109.6 t/s に対して tensor 167.7 t/s（約 1.5 倍）でした。 Gemma 4 は 60 層のうち 50 層が sliding attention（window 1024）で、llama.cpp が KV キャッシュを層間で共有するため、262k でも layer 構成で最大 12.8 GiB（13,087 MiB）/ 枚に収まりました（それでも T4 1 枚の 15 GiB には収まらないため、単一 GPU は計測していません）。
ukisai/Swift-Qwen3.8-27B-GGUF の IQ4_XS をTITAN V 12 GiB 2枚で測定した。layer / tensor分割の比較は128K設定で完走し、さらにlayer分割で160K設定の収容を確認した。 160K試験では実効163,711トークンを処理できた。長文測定のMTPはGPUメモリ不足で使えず、主計測はMTPなしで行った。
TITAN V 12GBを2枚使い、Qwen3.8 27B UD-IQ4_XSのlayer / tensor分割を64Kコンテキストまで各1回測定した。 64K段ではtensor分割がlayer分割よりprefillで約6%、decodeで約51%速かった。128K設定はVRAM不足で完走できなかったため、結果には含めていない。
Gemma 4 26B A4B の QAT Q4_K_M GGUF と外部 MTP ドラフトヘッドを、RTX 5060 Ti 16GB 1枚、CPU MoE 30層、131,072 context で測定した。モデル本体と MTP ヘッドは GPU に置き、MoE は RAM から実行する構成である。
RTX 5090 1 枚と RAM 96 GB の構成で、改修版 FreeToken による Qwen3.8-Flash-Next Uncensored NVFP4 の速度を測定しました。最大 259,601 トークン入力 + 1,000 トークン生成を含む 3 周・36 測定を完走し、最大入力での生成速度の中央値は 50.5 t/s、短い実用プロンプト 9 測定の中央値は 55.4 t/s でした。
R9700 32GB ×1で、llama.cppのUD-IQ4_XS＋MTP2と、GGZ14/RadianceのQuark AWQ MXFP4＋DFlash2-7を測定した。 warmupを明示的に実行した3反復の中央値。実入力32,460 tokenのdecodeは前者 47.89 tok/s、後者 192.48 tok/s。 重み・activation・KV・投機方式・timer境界が異なる実用構成の比較であり、engine単体や同一品質の比較ではない。 KLD/top-1と設定探索は未実施。NVFP4からのロード時再量子化は使用していない。
Radeon RX 7900 XT 20GBとRX 7800 XT 16GBで、Qwen3.8 27B UD-IQ4_XSのsingle / layer / tensorを、投機的デコードなし・128Kコンテキストで各3回測定した。 decodeは16K段までsingle、32K段以降はtensorが最速だった。最深段の実入力128,266トークンでは、tensorが22.23 t/sでsingleの19.72 t/sに対して12.7%高速だった。8K〜128K段のprefillはlayerが最速だった。
マイニング向け GA100 カード NVIDIA CMP 170HX（nvidia-smi 上 65,536 MiB）2 枚で、Qwen3.8 Flash Next の W4A16 量子化版を vLLM の tensor parallel（TP=2）で動かし、262k コンテキストまでの prefill / decode を深度ラダーで計測しました。
Windows 11 Pro 上の RTX 3090 24 GB × 4 で、Qwen3.8 27B UD-Q4_K_XL の layer 分割と tensor 分割を比較しました。 両モードとも全4枚のGPUコアクロックを1395 MHzに固定設定し、電力上限を250 W／枚としました。メモリクロックは固定していません。 prefillは全測定点でlayerが速く、最深259,601トークンでのdecodeはtensorがlayerを約11.7%上回りました。 マザーボードは ASUS ROG CROSSHAIR VIII DARK HERO、CPU は AMD Ryzen 9 5950X、メモリは128 GiB DDR4です。
GTX 1660 SUPER 6GB × 1とRyzen 7 5700Xで、既存のQwen2.5-Coder-7B-Instruct Q4_K_MをWSL2上のCUDA版llama.cppで測定しました。 context枠8,192、29層中22層をGPUに固定配置したCPU/RAM併用構成です。 実入力6,027トークンまでのdecodeは13.41〜16.82 tokens/sでした。 合成文・単一スロット・各条件1回の速度測定であり、コード生成の正確性や実用性の判定は行っていません。
ASRock Z790 Steel Legend WiFi + RTX 5090（32 GB）× 1 の WSL2 環境で、Qwen3.8 27B UD-Q5_K_XL を --profile（単一 GPU）で 262k コンテキストまで計測しました。投機的デコードはなしです。 decode は depth 0 の 69.7 t/s から 258k の 34.7 t/s へ、prefill は 3,270 t/s から 745 t/s へ低下します。 196k 段の prefill だけが 472 t/s と前後より遅く、2 回の計測で再現しました（詳細は所感）。
RTX 5070 Ti 2 枚（VRAM 計 32 GB、GPU 間 P2P なし）と RAM 512 GB で、orcarouter の Qwen3.8-Flash-Next Uncensored（BF16）を自分で NVFP4 に量子化した 174 GB のモデルを、sglang＋KTransformers で動かしています。 約 38K トークン相当のプロンプト（35K トークン）の prefill が 990 t/s（35 秒）、decode が 51〜53 t/s でした。コンテキスト長は 262K に設定し、KV キャッシュは 232K トークン分を確保しています。 llama.cpp ではなく sglang＋KTransformers で動かしているため、llama-split-bench ではなく自作スクリプトで、プロンプト長 2 種の prefill と 512 トークンの decode を測っています（深度ラダーは測っていません）。
RTX 5090 1 枚で Huihui-Qwen3.8-27B-abliterated-Q4_K.gguf を --profile 計測しました。コンテキスト長 262144、KV キャッシュ q8_0/q8_0、投機的デコードなしの条件で、258k 段まで完了しました。 258k 段では prefill 749.9 tok/s、decode 36.3 tok/s でした。実行中に2秒間隔で記録した VRAM 使用量は、258k 段の直前に 26,885 MiB、同段処理中の最大が 26,892 MiB でした。
GMKtec NucBox EVO-X2（AMD Ryzen AI Max+ 395 / Radeon 8060S / 128GB unified memory）で、Qwen3.8-Flash-Next（Halogen形式 W4B）を推論エンジン Halogen 0.14.0 で 262k コンテキストまで測定しました。 Halogen は llama.cpp / llama-server ベースではないため llama-split-bench 自体は実行していません。Halogen API 用の独自アダプタで、llama-split-bench と同じ stage・生成長・PP0 の手順を再現し、図は llama-split-bench の plot_bench.py で描画しています（違いは「条件」に記載）。 prefill は 32k の 1,304 t/s から 258k の 1,158 t/s へ約 11% 低下しました。decode は合成テキストでは 72〜76 t/s ですが、これは MTP に有利な条件の値で、実プロンプト 3 種による補正後の実運用推定は 約 41〜43 t/s です。
RTX 5070 12GB × 1とWSL2で、Qwen3.8 27B GSQ-RCO IQ2_Sを測定しました。 コンテキスト枠を8,192に設定し、実入力11 / 3,917トークンから各1,000トークンを生成した速度は、39.43 / 38.42 t/sでした。 12GBの単一GPUで27Bモデルを動かす一例です。ただし、低ビット量子化・合成文・各条件1回の短縮測定であり、回答品質や長文での速度は評価していません。
RTX 5070 Ti 2 枚（VRAM 計 32 GB、GPU 間 P2P なし）と RAM 512 GB で、67 GB の Qwen3.5-35B-A3B を量子化せず BF16 のまま、sglang＋KTransformers でエキスパートを CPU と GPU に分担させて動かしています。 約 38K トークン相当のプロンプト（35K トークン）の prefill が 1,581 t/s（22 秒）、decode が 93〜97 t/s でした。コンテキスト長は 262K です。 llama.cpp ではなく sglang＋KTransformers で動かしているため、llama-split-bench ではなく自作スクリプトで、プロンプト長 2 種の prefill と 512 トークンの decode を測っています（深度ラダーは測っていません）。
RTX 5070 Ti 2 枚（VRAM 計 32 GB、GPU 間 P2P なし）と RAM 512 GB で、本体 FP8 で 306 GB の GLM-5.3-Flash（Uncensored）を sglang＋KTransformers で動かしています。CPU 側のエキスパートは同じ作者の NVFP4 版から読み込んでいます。 VRAM が足りないため、prefill を GPU で計算する構成（prefill 165 t/s、decode 16.5 t/s）と、使用頻度の高いエキスパートを GPU に常駐させる構成（prefill 92 t/s、decode 18.0 t/s）のどちらかを選んで使っています。 llama.cpp ではなく sglang＋KTransformers で動かしているため、llama-split-bench ではなく自作スクリプトで、プロンプト長 2 種の prefill と 512 トークンの decode を測っています（深度ラダーは測っていません）。
RTX 5070 Ti 2 枚（VRAM 計 32 GB、GPU 間 P2P なし）と RAM 512 GB で、engram テーブル込みで 476 GB の DeepSeek V4.1-Flash を sglang＋KTransformers で動かしています。 コンテキスト長 1M を確保したまま、約 38K トークンの prefill が 256 t/s（2 分半）、decode が 28 t/s でした。 engram テーブルは RAM に載せず NVMe から直接読み、エキスパートは CPU と GPU に振り分けています。 llama.cpp ではなく sglang＋KTransformers で動かしているため、llama-split-bench ではなく自作スクリプトで、プロンプト長 2 種の prefill と 512 トークンの decode を測っています（深度ラダーは測っていません）。
RTX 5070 Ti 2 枚（VRAM 計 32 GB、GPU 間 P2P なし）と RAM 512 GB で、147 GB の DeepSeek V4-Flash-Vision-Exp（Huihui による abliterated 版、エキスパートは MXFP4）を sglang＋KTransformers で動かしています。エキスパートの大半は CPU で計算し、使用頻度の高いものだけ GPU に置いています。 約 38K トークンの prefill が 615 t/s（62 秒）、decode が 43〜44 t/s でした。コンテキスト長は 1M に設定し、KV キャッシュは 262K トークン分を確保しています。 長いプロンプトでは、エキスパートの重みを層ごとに PCIe で GPU へ転送しながら計算し、その間に CPU も一部のエキスパートを並行して計算します。 llama.cpp ではなく sglang＋KTransformers で動かしているため、llama-split-bench ではなく自作スクリプトで、プロンプト長 2 種の prefill と 512 トークンの decode を測っています（深度ラダーは測っていません）。
HPE ProLiant DL380 Gen10 に Tesla T4 × 4（15 GB / 枚）を載せた構成で、Qwen3.8 27B の --split-mode layer と tensor（TP=4）を 262k コンテキストまで比較しました。量子化は Unsloth の UD-Q4_K_XL / UD-Q6_K / Q8_0 の 3 種で、いずれも MTP 投機的デコードを有効にしています。 decode は 3 量子化すべてで tensor が全深度で圧勝し、258k では layer 8.1〜8.3 t/s に対して tensor 25.1〜26.4 t/s（約 3.2 倍）でした。prefill も tensor が全深度で 1.4〜1.5 倍速く、T4 4 枚では layer 分割を選ぶ理由が見つかりませんでした。 一方、量子化 3 種の速度差は小さく、262k（tensor）の decode は Q4_K_XL 26.44 / Q6_K 25.36 / Q8_0 25.08 t/s と 5% 以内に収まりました。VRAM に余裕があるなら Q8_0 を選んでも速度の犠牲はほとんどありません。
Supermicro X10DRG-Q（2 ソケット）に載せた Tesla P40 × 4 で、Qwen3.8 27B UD-Q4_K_XL（MTP 投機的デコード付き）の --split-mode layer と tensor を比較しました。262k コンテキストでの本計測に加え、単一 GPU が収まる 131k コンテキストで single / layer / tensor の 3 構成も測りました。 decode は全深度で tensor が勝ち、262k の最深段（258k）では layer の 3.0 倍（19.0 対 6.35 t/s）でした。layer の decode は単一 GPU とほぼ同じで、layer 分割で得られるのは速度ではなく VRAM でした。 GPU は電源容量（1000 W）の都合で 1 枚あたり 150 W に電力制限しています（P40 の標準は 250 W）。また、GPU0 のみ PCIe x8 接続です。
Lenovo の Thinkstation PGX (DGX Spark互換機) NVIDIA GB10（Grace Blackwell、Arm CPU + GPU が統合メモリを共有する SoC）単体で、Qwen3.8 Flash Next（512 エキスパートの MoE、GGUF 80 GiB）を 262k コンテキストまで計測しました。 GPU と RAM が同一メモリプールのため、モデル重みの CPU オフロードが不要です。 結果は prefill 461〜557 t/s、decode 約 55〜57 t/s（MTP 投機的デコードあり）を 258k までほぼ一定に維持しました。 実プロンプトでは MTP の受理率が下がり decode は 32〜36 t/s です（補正係数 0.63）。
Inspur NF5468M5 の Tesla V100-SXM2-32GB 2 枚（NVLink 接続）で、Qwen3.8 Flash Next（512 エキスパートの MoE、GGUF 80 GiB）を --split-mode layer（2 枚）と単一 GPU で 262k コンテキストまで比較しました。 モデルは VRAM 合計 64 GB に収まらないため、両モードとも --fit on で入りきらない分をホスト RAM（CPU）に置いています。 layer（2 枚）は prefill 615〜738 t/s、decode 約 98〜103 t/s（MTP 投機的デコードあり）を 258k まで維持し、単一 GPU と比べて prefill 約 7〜8 倍、decode 約 6 倍でした。 tensor 分割はこのモデルのアーキテクチャ（qwen4exp）で未実装のため測定していません。
ASRock X99 Taichi に Tesla V100-SXM2-16GB を 2 枚載せた構成で、Huihui-Qwen3.8-27B-abliterated（UD-Q4_K_XL）の --split-mode layer / tensor を 262k コンテキストまで比較しました。 decode は全深度で tensor が layer より 26〜37% 速く（depth 0 で 34.4 → 44.8 t/s、258k で 9.4 → 12.8 t/s）、prefill は全深度で layer が速い結果でした（差は深いほど縮小し、258k で 7%）。 モデル（17.4 GB）が V100 1 枚の VRAM に収まらないため、単一 GPU の計測はしていません。
ASUS Z170-A に Tesla V100-PCIE-32GB と Tesla PG500-216（32 GB × 2、PCIe 3.0 x8/x8、NVLink なし）を載せ、Qwen3.8-27B UD-Q4_K_M を 262k コンテキストまで測定しました。--split-mode layer / tensor に加えて 単一 V100（CUDA1 のみ）のベースラインも同じ条件で取得しています（モデル約 16 GB が 32 GB カード 1 枚に載るため）。
前回の no-NCCL レポート と同じ機体・同じモデルで、llama.cpp を GGML_CUDA_NCCL=ON（CUDA arch 70;86）で別ビルドし直し、NCCL 有効時の layer / tensor / V100 単体を再測定した。 tensor split では深いコンテキストの prefill が約 +8〜9% 改善した一方、decode は約 −5〜9% 悪化した。layer と V100 単体は実質差なし。NVLink なし・PCIe PHB の混在 GPU では、対話向け decode 主体なら no-NCCL（内部 AllReduce）の方が速く、長文 prefill 重視なら NCCL が効く、という結果になった。
Thirdwave XA7C-R47T（RTX 3060 12GB + Tesla V100-PCIE-32GB、NVLink なし・V100 は PCIe 3.0 x4）で Qwen3.8 27B Q4_K_M（約 16 GB）を 131k コンテキストまで測定し、--split-mode layer / tensor、および V100 単体を比較しました。 decode は全深度で tensor ≒ V100 単体が layer を上回り（depth 0 で 26.8 → 32.2 t/s、128k で 13.7 → 17.8 t/s）、prefill は全深度で layer が最速でした。 3060 単体はモデル自体が 12 GB を超えるため起動できず未測定です。MTP ドラフトヘッドは手元に無かったため投機的デコードは無効です。
Supermicro SYS-4028GR-TRT2（Tesla P100-PCIE-16GB × 7）で Qwen3.8 27B UD-Q4_K_XL（MTP 投機的デコード付き）を 262k コンテキストまで測定し、--split-mode layer と tensor を比較しました。 decode は全深度で tensor が速く（depth 0 で 19.7 → 27.8 t/s、258k で 9.1 → 24.6 t/s、+41〜170%）、prefill は逆に全深度で layer が速い（258k で 87.5 対 59.3 t/s）という結果になりました。 ただしこの機械では 7 枚の tensor 分割は既定の NCCL AllReduce が起動時にハングするため、GGML_CUDA_ALLREDUCE=none を付けて測っています。prefill が振るわないのはこの回避策の影響が大きいとみられます（「所感」参照）。 モデル（17.6 GB）が P100 1 枚（16 GB）に載らないため、単一 GPU のベースラインは測定していません。
NEC Express5800/T120h（Tesla P100-PCIE-16GB × 4）で Qwen3.8 27B UD-Q4_K_XL（MTP 投機的デコード付き）を 262k コンテキストまで測定し、--split-mode layer と tensor を比較しました。 全深度で tensor が速く、prefill は layer 比 +56〜83%、decode は +136〜158%（depth 0 で 20.0 → 48.5 t/s、258k で 9.7 → 23.9 t/s）でした。 モデル（17.6 GB）が P100 1 枚（16 GB）に載らないため、単一 GPU のベースラインは測定していません。
条件に一致するレポートがありません。
レポートに登場するハードウェア構成。
| 日付 | GPU | 枚数 | コンピュータ / マザーボード | モデル | 作成者 |
|---|---|---|---|---|---|
| 2026-10-21 | Tesla T4 | 4 | HPE ProLiant DL380 Gen10 | 不明 | MG8853 |
| 2026-10-20 | Tesla T4 | 4 | HPE ProLiant DL380 Gen10 | Tess-4.5-27B-Q8_0.gguf（28,595,763,424 バイト、arch qwen35、64 ブロック、262,144 ctx、Gated DeltaNet | MG8853 |
| 2026-10-18 | Tesla T4 | 4 | HPE ProLiant DL380 Gen10 | Qwen3.8-27B-Uncensored-Q5_K_M.gguf | MG8853 |
| 2026-10-18 | Tesla T4 | 4 | HPE ProLiant DL380 Gen10 | ornith-ai/Ornith-1.5-35B-A3B-GGUF の Ornith-1.5-35B-Q4_K_M.gguf | MG8853 |
| 2026-10-17 | Tesla T4 | 4 | HPE ProLiant DL380 Gen10 | AtomicChat/Qwen3.8-Flash-Next-GGUF の AD-3.84bpw-IQ4_XS-M64 。177B、qwen4exp、48 ブロック、エキスパート 512 / 使用 10、GGUF 上のコンテキスト長 262,144。モデルカードによると 51B パラメータ分は n-gram ルックアップテーブル | MG8853 |
| 2026-10-17 | Tesla T4 | 4 | HPE ProLiant DL380 Gen10 | unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF の UD-IQ2_XXS と UD-IQ2_M 。総 120B / アクティブ 12B の MoE | MG8853 |
| 2026-10-11 | Apple M1 Max | 1 | Apple MacBook Pro 18,4(型番 MacBookPro18,4、2021 年モデル) | Qwen3.8-27B-UD-Q4_K_M.gguf | Kenya Nara (@penta2himajin) |
| 2026-10-08 | Tesla V100-PCIE-32GB | 1 | Supermicro SYS-1019GP-TT(マザーボード X11SPG-TF) | Qwen3.8-27B-UD-Q4_K_M.gguf | sh1ma |
| 2026-10-07 | Tesla V100-SXM2-16GB | 2 | ASRock B550M Pro RS | unsloth Qwen3.8-27B UD-Q4_K_M | pakutoma |
| 2026-10-05 | Tesla V100-SXM2-16GB | 2 | Supermicro X11SPi-TF | Qwen3.8-27B-Q4_K_M.gguf、16,810,714,336byte | KotaroFurukawa |
| 2026-10-04 | R | 6400 | BIOSTAR TB250-BTC PRO（マイニングボード） | Qwen3-1.7B Q4_K_M | eightman999 |
| 2026-10-03 | Tesla V100-PCIE-32GB + Tesla PG500-216 | - | MSI MPG X570 GAMING EDGE WIFI | Qwen3.8 Flash Next IQ3E-Q8D-MTP | warabii |
| 2026-10-01 | NVIDIA GeForce RT | 3090 | ASUS ROG CROSSHAIR VIII DARK HERO | Qwen3.8-27B UD-Q4_K_XL 。Windows測定と同一ファイル | 錦幸佳 |
| 2026-09-30 | Tesla T4 | 4 | HPE ProLiant DL380 Gen10 | NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-UD-Q4_K_M.gguf | MG8853 |
| 2026-09-30 | Tesla T4 | 4 | HPE ProLiant DL380 Gen10 | NVIDIA-Nemotron-3.5-Lightning-30B-A3B-UD-Q4_K_M.gguf | MG8853 |
| 2026-09-30 | Tesla T4 | 4 | HPE ProLiant DL380 Gen10 | Ornith-1.5-35B-A3B-Q4_K_M.gguf | MG8853 |
| 2026-09-30 | Tesla T4 | 4 | HPE ProLiant DL380 Gen10 | gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf 25 層、エキスパート 128） | MG8853 |
| 2026-09-30 | Tesla T4 | 4 | HPE ProLiant DL380 Gen10 | gemma-4-31B-it-qat-UD-Q4_K_XL.gguf | MG8853 |
| 2026-09-29 | NVIDIA TITAN V 12 GiB | 2 | MSI MPG Z490M GAMING EDGE WIFI (MS-7C76) | ukisai/Swift-Qwen3.8-27B-GGUF:IQ4_XS、Swift-Qwen3.8-27B-IQ4_XS.gguf、15,688,288,352 bytes | tomo_9180 |
| 2026-09-29 | NVIDIA TITAN V 12 GiB | 2 | MSI MPG Z490M GAMING EDGE WIFI (MS-7C76) | Qwen3.8-27B-UD-IQ4_XS.gguf、14,252,845,984 bytes | tomo_9180 |
| 2026-09-28 | NVIDIA GeForce RT | 5060 | ASRock B650 PG Lightning | Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-Q4_K_M.gguf、16,780,192,888 bytes | RockinWool |
| 2026-09-28 | NVIDIA GeForce RTX 5090 | 1 | ASRock Z890 Pro RS WiFi | Qwen3.8-Flash-Next-Uncensored-NVFP4 | centra |
| 2026-09-28 | Radeon AI PRO R9700 | 1 | ASRock WRX80 Creator | Qwen3.8 27B UD-IQ4_XS / Quark AWQ MXFP4 | jyohukuchan |
| 2026-09-28 | Radeon R | 7900 | ASUS ProArt X870E-CREATOR WIFI | Huihui-Qwen3.8-27B-abliterated-UD-IQ4_XS.gguf、14,403,496,864 bytes | ogawara |
| 2026-09-27 | NVIDIA CMP 170HX | 2 | GIGABYTE MZ32-AR0-00 | Qwen3.8-Flash-Next-heretic2-W4A16-densohax <br>base: Qwen/Qwen3.8-Flash-Next | moriyasujapan |
| 2026-09-27 | NVIDIA GeForce RT | 3090 | ASUS ROG CROSSHAIR VIII DARK HERO | Qwen3.8-27B UD-Q4_K_XL | 錦幸佳 |
| 2026-09-27 | NVIDIA GeForce GT | 1660 | ASRock B450 Pro4（Windows CIMで再取得） | Qwen2.5-Coder-7B-Instruct、7.62B、GGUF v3、Q4_K_M、4,683,074,048 bytes | antarashi |
| 2026-09-27 | NVIDIA GeForce RT | 5090 | ASRock Z790 Steel Legend WiFi（自作 PC） | Qwen3.8-27B-UD-Q5_K_XL.gguf | unco3 |
| 2026-09-26 | GeForce RT | 5070 | HUANANZHI H12D-16D（デュアル SP3） | orcarouter/Qwen3.8-Flash-Next-Uncensored を元に、ルーティングされるエキスパートだけ ModelOpt で NVFP4 に量子化 。エキスパートは NVFP4 、それ以外は BF16。174 GB 。48 層（線形アテンション 36 | amane.yukishima |
| 2026-09-26 | NVIDIA GeForce RT | 5090 | Micro-Star International Co., Ltd. PRO B650-S (MS-7E26) | Huihui-Qwen3.8-27B-abliterated-Q4_K.gguf | completenovice-eng |
| 2026-09-26 | AMD Radeon 8060S Graphics | 1 | GMKtec NucBox EVO-X2 | Qwen3.8-Flash-Next W4B HGN | A-Uta |
| 2026-09-26 | NVIDIA GeForce RT | 5070 | GIGABYTE X870M AORUS ELITE WIFI7 ICE | Qwen3.8-27B-GSQ-RCO-IQ2_S | fumimatsu |
| 2026-09-26 | GeForce RT | 5070 | HUANANZHI H12D-16D（デュアル SP3） | Qwen/Qwen3.5-35B-A3B 。BF16。67 GB。40 層、ルーティングされるエキスパート 256 個中 8 個がアクティブ | amane.yukishima |
| 2026-09-26 | GeForce RT | 5070 | HUANANZHI H12D-16D（デュアル SP3） | GLM-5.3-Flash の Uncensored 版。本体は orcarouter/GLM-5.3-Flash-Uncensored-FP8、CPU 側のエキスパートは orcarouter/GLM-5.3-Flash-Uncensored-NVFP4。本体 FP8 で 306 GB 。CPU 側のエキスパートは NVFP4 版 から読み込み。45 層、ルーティングされるエキスパート 288 個中 8 個がアクティブ | amane.yukishima |
| 2026-09-26 | GeForce RT | 5070 | HUANANZHI H12D-16D（デュアル SP3） | deepseek-ai/DeepSeek-V4.1-Flash 。本体は FP8 、エキスパートは FP4。engram テーブル込みで 476 GB。40 層、ルーティングされるエキスパート 384 個中 6 個がアクティブ | amane.yukishima |
| 2026-09-26 | GeForce RT | 5070 | HUANANZHI H12D-16D（デュアル SP3） | DeepSeek V4-Flash-Vision-Exp の abliterated 版。huihui-ai/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-GGUF を sglang で読める形式に自前で変換。エキスパートは GGUF の MXFP4 をそのまま使用、エキスパート以外の重みは FP8。147 GB。43 層、ルーティングされるエキスパート 256 個中 6 個がアクティブ | amane.yukishima |
| 2026-09-26 | Tesla T4 | 4 | HPE ProLiant DL380 Gen10 | Qwen3.8-27B の UD-Q4_K_XL / UD-Q6_K / Q8_0 | MG8853 |
| 2026-09-25 | Tesla P40 | 4 | Supermicro X10DRG-Q | Qwen3.8-27B-UD-Q4_K_XL | 0kqnet |
| 2026-09-25 | NVIDIA GB10 。nvidia-smi の VRAM は [N/A] で、システム RAM と同一プールを共有する。離散 VRAM ではない | - | Lenovo Thinkstation PGX（型番 30KLS01900）— NVIDIA GB10 (Grace Blackwell) SoC 搭載。/sys/class/dmi/id/product_name = 30KLS01900、board_name は INVALID | Qwen3.8-Flash-Next-IQ3E-Q8D-MTP.gguf | 0rangaxx |
| 2026-09-24 | Tesla V100-SXM2-32GB | 2 | Inspur NF5468M5（マザーボード YZMB-01130-107） | Qwen3.8-Flash-Next-IQ3E-Q8D-MTP.gguf | pentacoxian |
| 2026-09-23 | Tesla V100-SXM2-16GB | 2 | ASRock X99 Taichi | Huihui-Qwen3.8-27B-abliterated-UD-Q4_K_XL | miminashi |
| 2026-09-22 | Tesla V100-PCIE-32GB + Tesla PG500-216 。VRAM 32 GB | 2 | ASUS Z170-A | Qwen3.8-27B UD-Q4_K_M | kuraneko1 |
| 2026-09-21 | NVIDIA GeForce RT | 3060 | Thirdwave XA7C-R47T / ASRock B760 TW/D4 | Qwen3.8-27B Q4_K_M | eightman999 |
| 2026-09-21 | NVIDIA GeForce RT | 3060 | Thirdwave XA7C-R47T / ASRock B760 TW/D4 | Qwen3.8-27B Q4_K_M | eightman999 |
| 2026-09-20 | Tesla P100-PCIE-16GB | 7 | Supermicro SYS-4028GR-TRT2（M/B X10DRG-OT+-CPU） | Qwen3.8-27B-UD-Q4_K_XL | miminashi |
| 2026-09-20 | Tesla P100-PCIE-16GB | 4 | NEC Express5800/T120h | Qwen3.8-27B-UD-Q4_K_XL | miminashi |